相 号 沙 图 丘 


国 www.epubit.com 


。《 算 法 详解 》 四 部 曲 第 一 卷 ， 详 细 讲解 算法 基础 ， 展 现 算法 本 质 
* 集 斯 坦 福 大 学 教授 多 年 教学 经 验 ， 深入浅出 ， 通 俗 易 履 





a 
个 法 详解 ,人 
-一 一 算法 其 在 


[ 美 ] 蒂 姆 : 拉夫 加 登 (Tim Roughgarden ) 著 徐 波 译 


加 中 国 工 信 出 版 集团 ” 允 人 民 邮 电 出 版 社 


SS 0STS & TELECOM PRESS 









法 评 
和 佛法 ( 卷 1 ) 
一 算法 基础 Sw 


[ 美 ] 蒂 姆 . 拉夫 加 登 (Tim Roughgarden ) 著 和 人 徐 波 译 


人 民 邮 电 出 版 社 


北京 


图 书 在 版 编目 (C I P ) 数据 


算法 详解 . 卷 1， 算 法 基础 / ( 美 ) 蒂 姆 。 拉 夫 加 登 
(Tim Roughgarden) 著 : 徐 波 译 . 一 北京 : 人 
民 邮 电 出 版 社 ，2019. 1 

ISBN 978-7-115-49352-1 


算法 理论 IV，GDTP301.6 


中 国 版 本 图 书馆 CIP 数 据 核 字 (2018) 第 212257 号 


版 权 声 明 


Simplified Chinese translation copyright ©2018 by Posts and Telecommunications Press. 
ALL RIGHTS RESERVED. 

Algorithms Illuminated Part 1:The Basics, by Tim Roughgarden, ISBN 9780999282908. 
Copyright © 2017 by Tim Roughgarden. 































































































































































































本 书 中 文 简体 版 由 Tim Roughgarden 授权 人 民 邮 电 出 版 社 出 版 。 未 经 出 版 者 书面 许可 , 对 本 
书 的 任何 部 分 不 得 以 任何 方式 或 任何 手段 复制 和 传播 。 
版 权 所 有 ， 侵 权 必 究 。 
9 车 [ 美 ] 蒂 姆 。 拉夫 加 登 〈Tim Roughgarden) 
译 徐 波 
责任 编辑 ” 武 晓 燕 
责任 印 制 ” 焦 志 炜 
9 人 民 邮 电 出 版 社 出 版 发 行 ” ”北京 市 丰台 区 成 寿 寺 路 11 号 
Bb 编 ”100164 电子 邮件 315@ptpress.com.cn 
网 址 http://www.ptpress.com.cn 
固 安 县 铭 成 印刷 有 限 公司 印刷 
多 ”开本 : 720x960 1/16 
印张 : 12.75 
字数 ，200 千 字 2019 年 1 月 第 1 版 
印 数 : 1-4000 册 2019 年 1 月 河北 第 1 次 印刷 
著作 权 合 同 登 记号 ”图 字 : 01-2017-9353 号 
定价 : 49.00 元 
读者 服务 热线 : (010) 81055410” 印 装 质量 热线 : (010) 81055316 


反 盗 版 热线 : (010) 81055315 
广告 经 营 许可 证 : 京东 工商 广 登 字 20170147 号 





内 容 提 要 


算法 是 计算 机 科学 领域 最 重要 的 基石 之 一 。 算法 是 程序 的 灵魂 , 只 有 掌握 ] 
算法 ， 才 能 轻松 地 驾驭 程序 开发 。 
法 详解 》 系 列 图 书 共 有 4 卷 ， 本 书 是 第 1 卷 法 基础 。 本 书 共有 6 
章 ， 主 要 介绍 了 4 个 主题 ， 它 们 分 别 是 渐进 性 分 析 和 大 O 表示 法 、 分 治 算法 和 
主 方法 、 随 机 化 算法 以 及 排序 和 选择 。 附 录 A 和 附录 B 简单 介绍 了 数据 归纳 法 
和 离散 概率 的 相关 知识 。 本 书 的 每 一 章 均 有 小 测验 、 章 末 习 题 和 编程 题 ， 这 为 读 
者 的 自我 检查 以 及 进一步 学 习 提供 了 较 多 的 便利 。 

本 书 为 对 算法 感 兴趣 的 广大 读者 提供 了 丰富 而 实用 的 资料 , 能 够 帮助 读者 提 
升 算 法 思维 能 力 。 本 书 适 合计 算 机 专业 的 高 校 教师 和 学 生 , 想 要 培养 和 训练 算法 
思维 以 及 计算 思维 的 IT 专业 人 士 , 以 及 在 准备 面试 的 应 聘 者 和 面试 官 阅读 参考 。 
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本 书 是 在 我 的 在 线 算法 课程 的 基础 之 上 编写 的 , 是 四 卷 本 系列 的 第 1 卷 。 这 
个 在 线 课程 2012 年 起 就 定期 举行 ， 它 建立 在 我 在 斯 坦 福 大 学 教授 多 年 的 本 科 课 
程 的 基础 之 上 。 


本 书 洱 兰 的 内 容 
本 书 对 以 下 4 个 主题 进行 了 介绍 。 
渐进 性 分 析 和 大 O 表示 法 


渐进 性 表示 法 为 讨论 算法 的 设计 和 分 析 提供 了 基本 术语 。 它 的 关键 概念 是 大 
0 表示 法 ， 这 是 一 种 用 于 衡量 算法 的 运行 时 间 粒 度 的 建 模 选择 。 我 们 将 会 看 到 
清晰 的 高 层 算法 设计 思想 的 一 大 优点 就 是 可 以 忽略 常数 因子 和 低 阶 项 , 把 注意 力 
集中 在 算法 的 性 能 与 输入 长 度 之 间 的 关系 上 。 
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分 治 算法 和 主 方法 

法 设计 中 不 存在 万 能 的 捷径 , 不 存在 适用 于 所 有 的 计算 问题 的 一 种 解决 问 
题 的 方法 。 但 是 , 还 是 存在 一 些 通用 的 算法 设计 技巧 适用 于 一 定 范围 内 的 不 同 领 
域 。 在 本 系列 的 第 1 卷 中 ， 我 们 将 讨论 “分 治 ” 技巧 。 分 治 法 的 思路 是 把 一 个 问 
题 分 解 为 儿 个 更 小 的 子 问题 , 然后 递归 地 解决 这 些 子 问 题 , 并 把 它们 的 解决 方案 
快速 组 合 在 一 起 形成 原始 问题 的 解决 方案 。 我 们 将 讨论 用 于 排序 、 整 数 乘 法 、 矩 
阵 乘 法 和 基本 的 计算 几何 学 问题 的 快速 分 治 算法 。 我 们 还 将 讨论 主 方法 , 它 是 一 
个 强大 的 工具 ， 用 于 分 析 分 治 算法 的 运行 时 间 。 
















































































































































































随机 化 算法 
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令 人 吃惊 的 是 ， 随 机 化 常常 能 够 带 来 简单 、 优 雅 且 实用 的 算法 。 划 












































随机 化 算法 在 运行 时 采用 了 “ 撕 硬 币 ” 的 方式 , 它 的 行为 取决 于 掷 硬 币 的 结果 。 





中 一 个 经 典 例子 
是 随机 化 的 快速 排序 QuickSort) 算 法， 我 们 将 详细 介绍 这 个 算法 并 分 析 其 运行 时 























间 。 我 们 还 将 在 《算法 详解 》 系 列 的 第 2 卷 看 到 随机 化 算法 的 进 
排序 和 选择 
































步 应 用 。 

















作为 前 3 个 主题 研究 的 附加 成 果 ， 我 们 将 学 习 几 个 著名 的 排序 和 选择 算法 ， 
包括 归并 排序 (MergeSort) 、 快 速 排 序 和 线性 时 间 级 的 选择 (包括 随机 化 版 本 和 






























































确定 性 版 本 ) 。 这 些 算法 具有 令 人 炫目 的 高 速度 ， 以 至 于 它们 的 运行 时 间 较 之 读 


取 输 入 所 需要 的 时 间 并 没有 多 出 很 多 。 创建 类 似 这 样 的 “ 低 代 价 基 本 操作 ”集合 ， 
既 可 以 直接 用 它 来 操作 数据 , 也 可 以 将 其 作为 更 困难 问题 的 解决 方案 的 基本 单位 。 



































关于 本 书 内 容 的 更 详细 介绍 ， 可 以 阅读 每 章 的 “本 章 要 点 ”， 






































内 容 进行 了 总 结 ， 特 别 是 那些 重要 的 概念 。 


《算法 详解 》 系 列 其 他 几 卷 所 涵盖 的 主题 












































它 对 每 一 章 的 


《算法 详解 〈 卷 2) 》 讨 论 了 数据 结构 ( 堆 、 平 衡 搜 索 树 、 散 列表 、 布 隆 过 





滤器 ) 、 图 形 基本 单元 (宽度 和 深度 优先 的 搜索 、 连 通 性 、 最 短路 径 〉 以 及 它们 





























的 应 用 (从 消除 重复 到 社交 网 络 分 析 ) 。 卷 3 重点 讨论 了 贪 禁 
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周 度 、 最 小 


















































生成 树 、 集 群 、 霍 夫 曼 编码 ) 和 动态 编程 背包、 序列 对 齐 、 最 短路 径 、 最 佳 搜 





索 树 等 ) 。 卷 4 则 介绍 了 NP 完整 性 及 其 对 算法 设计 师 的 意义 ， 还 讨论 了 处 理 难 




















解 的 计算 问题 的 一 些 策略 ， 包 括 对 试探 法 和 局 部 搜索 的 分 析 。 





本 书 经 常会 出 现 “Q.e.d” 等 字样 ， 它 是 quod erat demonstrandum 的 缩写 ， 














表示 “证 明 完 毕 ”。 在 数学 著作 中 ， 它 出 现在 证 明 过 程 的 最 后 ， 表 示 证 明 已 经 











读者 的 收获 


精通 算法 需要 大 量 的 时 间 和 精力 ， 那 为 什么 要 学 习 算 法 呢 ? 
































思 
了 
KK 


成 为 更 优秀 的 程序 员 


读者 将 学 习 一 些 令 人 炫目 的 用 于 处 理 数 据 的 高 速 子 程序 以 及 一 些 实用 的 数 
据 结 构 ， 它 们 用 于 组 织 数 据 ， 并 可 以 直接 部 署 到 自己 的 程序 中 。 实 现 和 使 用 这 些 
算法 将 会 扩展 并 提高 读者 的 编程 技巧 。 读 者 还 将 学 习 基 本 的 算法 设计 范式 ， 它 们 
与 许多 不 同 领 域 的 不 同 问题 密切 相关 ， 并 且 可 以 作为 预测 算法 性 能 的 工具 。 这 些 
“算法 设计 模式 ”可 以 帮助 读者 为 自己 碰 到 的 问题 设计 新 算法 。 

加 强 分 析 技 巧 

读者 将 会 获得 大 量 的 实践 以 对 算法 进行 描述 和 推导 。 通过 数学 分 析 , 读者 将 
对 《算法 详解 》 系 列 图 书 所 涵盖 的 特定 算法 和 数据 结构 产生 深刻 的 理解 。 读 者 还 
将 掌握 一 些 广泛 用 于 算法 分 析 的 实用 数学 技巧 。 

形成 算法 思维 

在 学 习 了 算法 之 后 ， 很 难 发 现 有 什么 地 方 没有 它们 的 踪影 。 不 管 是 坐 电 梯 、 观 
察 鸟 群 , 还 是 管理 自己 的 投资 组 合 , 其 至 是 观察 婴儿 的 认 知 , 算法 思维 都 如 影 随行 。 
算法 思维 在 计算 机 科学 之 外 的 领域 ， 包 括 生物 学 、 统 计 学 和 经 济 学 越 来 越 实 用 。 

融入 计算 机 科学 家 的 圈子 

研究 算法 就 像 是 观看 计算 机 科学 最 近 60 年 的 精彩 剪辑 。 当 读者 参加 一 个 计 
算 机 科学 的 鸡尾酒 会 时 , 会 上 有 人 讲 了 一 个 关于 Dijkstra 算法 的 笑话 时 ， 你 就 不 
会 感觉 自己 被 排除 在 这 个 圈子 之 外 了 。 在 阅读 了 本 书 系 列 之 后 , 读者 将 会 了 解 许 
多 这 方面 的 知识 。 

在 技术 访谈 中 脱颖而出 

在 过 去 这 些 年 里 ， 有 很 多 学 生 向 我 讲述 了 《算法 详解 》 系 列 图 书 是 怎样 帮助 
他 们 在 技术 访谈 中 大 放 异 彩 。 


其 他 算法 教材 


法 详解 》 系 列 图 书 只 有 一 个 目标 : 尽 可 能 以 读者 容易 接受 的 方式 介绍 
法 的 基础 知识 。 读者 可 以 把 本 书 看 成 是 专家 级 算法 教师 的 课程 记录 , 教师 们 以 课 
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程 的 形式 传道 解 惑 。 















































可 

















市 面 上 还 有 一 些 非常 优秀 的 更 为 传统 、 全 面 的 算法 教材 , 它们 都 可 以 


['4 
加 








找 自己 喜欢 的 其 他 教材 , 另外 还 有 一 些 图 书 的 出 发 点 有 所 不 同 , 它们 偏向 于 3 









































这 类 算法 。 
本 书 的 目标 读者 


法 详解 》 系 列 图 书 以 及 建立 在 它 的 基 而 











As 











法 详解 》 系 列 关 于 算法 的 其 他 细节 、 问 题 和 主题 的 有 益 补 充 。 我 训 励 读者 探索 和 


乍 为 4 算 























在 程序 员 的 角度 寻找 一 种 特定 编程 语言 的 成 熟 算 法 实现 ,网 络 中 存在 大 量 免费 的 











Hh 之 上 的 有 

















程 的 整体 目标 是 














可 能 地 扩展 读者 群体 的 范围 。 学 习 我 的 在 线 课程 的 人 们 有 具有 不 同 的 年 龄 、 背 景 、 
































生活 方式 ， 有 大 量 来 自 全 世界 各 个 角落 的 学 生 《〈 包 括 高 中 生 、 大 学 4 


工程 师 (包括 现在 的 和 未 来 的 ) 、 科 学 家 和 专业 人 员 。 



































本 书 并 不 是 讨论 编程 的 , 理想 情况 下 读者 应 该 已 经 了 角 


















































了 一 种 标准 语言 ( 例 


如 Java、Python、C、Scala、Haskell 等 ) 并 掌握 了 基本 的 编程 技巧 。 作 为 一 个 立 





























那么 看 懂 本 书 的 其 他 部 分 应 该 也 没有 问题 。 











如 果 读 者 想 要 提高 自己 的 编程 技巧 ， 那 么 可 以 观看 一 些 非常 优秀 的 ; 











编程 的 免费 在 线 课程 。 
我 们 还 会 根据 需要 使 用 数学 分 析 帮 助 读者 


















































笔 见 影 的 试验 , 读者 可 以 试 着 阅读 第 1.4 节 的 代码 。 如 果 读 者 觉得 自己 能 够 看 懂 ， 














述 基 h 





理解 算法 为 什么 能 够 实现 目标 , 是 











怎样 实现 目标 的 。Eric Lehman 和 Tom Leighton 关于 计算 机 科学 的 数学 知识 的 免 


























基础 


一 一 


















































法 并 不 会 影响 全 书 内 容 的 连续 性 。 


其 他 资源 
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费 课 程 是 极为 优秀 的 ， 可 以 帮助 读者 复习 数学 记 法 (例如 和 vv ) 、 数 学 证 明 的 
知识 (归纳 、 悖 论 等 ) 、 离 散 概 率 等 更 多 知识 。B 
了 数学 归纳 法 和 离散 概率 的 快速 回顾 。 带 星 号 的 章节 是 最 强调 数学 背景 的 。 对 数 
学 不 太 精 通 或 者 时 间 较 为 紧张 的 读者 可 以 在 第 一 次 阅读 时 跳 过 这 些 章节 ,这 种 做 





j 录 A 和 附录 B 分 别提 供 


法 详解 》 系 列 的 在 线 课 程 当前 运行 于 Coursera 和 Stanford Lagunita 平台 。 


E 等 ) 、 软 件 




















亚 
了 
KK 


另外 还 有 一 些 资源 可 以 帮助 读者 根据 自己 的 心愿 提升 对 在 线 课程 的 体验 。 
相 比 阅读 文字 ， 更 喜欢 听 和 看 ， 那 么 避 








视频 。 如 果 读 者 觉得 





















































以 在 YouTube 


的 视频 播放 列表 中 观看 。 这 些 视频 涵盖 了 《算法 详解 》 系 列 的 所 有 主题 。 我 希望 


























它们 能 够 激发 读者 学 习 

















时 ， 最 好 能 够 停 下 来 认真 思考 ， 然 后 


。 当 然 ， 它 们 并 不 外 


















































小 测验 。 读 者 怎么 才能 知 j 
于 全 书 的 小 测验 及 其 答案 和 详 








起 到 了 这 个 作 月 


























上 完全 




















章 末 习题 。 每 章 的 末尾 者 
的 理解 。 另 外 还 有 一 些 开 放 性 的 、 难 


















































有 一 些 相对 简单 的 问题 ， 月 





洒 续 阅读 接 下 来 的 内 容 。 






































区 代 书 的 作用 。 


于 测试 读者 对 i 




















和 否 完全 理解 了 本 书 所 讨论 的 概念 呢 ? 散布 
月 。 当 读者 阅读 到 这 块 内 


ZN 














玄 章 内 容 


度 更 大 的 挑战 题 。 本 书 并 未 包含 章 末 习题 的 














答案 ， 但 是 读者 可 以 通过 本 书 的 论坛 〈 稍 后 介绍 ) 与 我 以 及 其 他 读者 进行 交流 。 



































的 算法 工作 程序 ， 来 培养 读者 对 




















编程 题 。 许 多 章 的 最 后 部 分 是 一 个 建议 的 





























lluminated.org 上 找到 数据 集 、 测 试 例 以 及 它们 的 答案 。 

















论坛 。 在 线 课程 能 够 取得 成 功 的 一 个 重要 原 











助 的 机 会 , 读者 可 以 通过 论坛 讨论 课程 材料 和 调试 程序 。 本 二 
样 的 机 会 ， 你 可 以 通过 www.algorithmsilluminated.org 参与 互动 。 
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在 线 平台 的 课程 。 我 特别 感谢 那些 为 本 

































































编程 项 目 , 其 目的 
法 的 完全 理解 。 读 者 可 以 在 www.algorithmsi- 






























































通过 创建 和 





因 是 它们 为 参与 者 提供 
系列 的 读者 也 有 同 











了 互相 帮 


， 也 包括 
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程 中 数 以 干 计 的 参与 者 的 热情 和 渴望 ,《 算 
上 世 。 这 些 课程 既 包括 斯 坦 福 校园 里 的 课 
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资源 与 支持 














本 书 由 异步 社区 出 品 ， 社 区 (https:/www.epubit.com/) 为 您 提供 相关 资源 和 
后 续 服务 。 


提交 勘误 
作者 和 编辑 尽 最 大 努力 来 确保 书 中 内 容 的 准确 性 , 但 难免 会 存在 琉 漏 。 欢迎 
您 将 发 现 的 问题 反馈 给 我 们 ， 帮 助 我 们 提升 图 书 的 质量 。 
当 您 发 现 错误 时 ， 请 登录 异步 社区 ， 按 书 名 搜索 ， 进 入 本 书页 面 ， 点 击 “ 提 交 
勘误 ”， 输 入 勘误 信息 ， 点 击 “ 提 交 ” 按 钮 即 可 。 本 书 的 作者 和 编辑 会 对 您 提交 的 


勘误 进行 审核 ， 确 认 并 接受 后 ， 您 将 获 赠 异 步 社区 的 100 积分 。 积 分 可 用 于 在 异步 
社区 兑换 优惠 券 、 样 书 或 奖品 。 










































































四 | 







































































资源 与 支持 上 


与 我 们 联系 
我 们 的 联系 


如 果 您 对 本 : 


明 本 书 书 名 ， 


如 果 您 有 兴趣 出 版 
8 件 给 我 们 ; 有意 出 版 





























作 , 可 以 发 由 

















了 箱 是 contact@epubit.com.cn。 




















改 出 反馈 。 
教学 视频 ， 


一 











有 任何 疑问 或 建议 , 请 您 发 由 
以 便 我 们 更 高 效 地 
图 书 、 录 于 
图 书 的 作者 也 





g 件 给 我 们 ， 




















或 者 参与 
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b 件 标题 





一 < 





HH 




















接 访 问 www.epubit.com/selfpublish/submission 即 可 )。 





如 果 您 是 学 校 、 培 训 机 构 或 企业 , 想 批 量 
书 ， 也 可 以 发 邮件 
如 果 您 在 网 上 发 现 有 针对 异步 社 
la i i 
力 是 对 作者 权益 的 保护 ， 也 是 我 们 持 缚 














一 举 马 





给 我 们 。 























区 出 品 图 


青 您 将 怀疑 有 


























关于 异步 社区 和 异步 图 书 


“异步 社区 ”是 人 民 
图 书 和 相关 学 习 产 品 


技术 
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口 
HH 











年 8 月 ， 
更 多 详 

“异步 图 书 
托 于 人 民 邮 
在 封面 上 印 
AL、 测试、 前 端 





提供 大 



























































灿 i、 


量 精 品 I 技术 图 书 和 





情 请 访问 异步 社区 
日 异步 社区 编辑 
30 年 的 计算 机 
书 的 LOGO。 导 步 图 


”日 


出 版 社 近 
异步 图 
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包子 书 ， 
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网 络 技术 等 。 





书 的 各 


队 策划 
书 出 版 积 和 
书 的 出 版 领域 包 扣 


























袜 为 您 提供 








以 及 高 品质 


区 官网 https://www.epubit.com。 
版 的 精品 开 专业 图 书 的 品牌 ， 依 





可 以 到 异步 社 


购买 本 书 或 异步 社 





区 上 





图 书 翻译 、 技 术 审 校 等 工 


区 在 线 提交 投稿 ( 直 


8 版 的 其 他 图 











版 服务 。 异 步 社 


形式 的 盗版 行为 ,包括 对 
受权 行为 的 链接 发 邮件 给 
有 价值 的 内 容 的 动力 之 源 。 
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书 
我 们 。 您 的 














有 出 版 社 旗下 IT 专业 图 书社 区 ， 致 力 了 
， 为 作 译 者 提供 优质 








累 和 专业 编辑 
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微 信服 务 号 
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六 出 版 精品 IT 


区 创办 于 2015 
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本 章 的 目标 是 激发 读者 学 习 算 法 的 兴趣 。 我 们 首先 介绍 算法 的 基本 概念 以 及 



































它 的 重要 性 。 接 着 , 我 们 通过 两 个 整数 相 乘 的 问题 来 说 明 精 妙 的 算法 是 怎样 改进 
那些 简单 或 粗 烽 的 解决 方案 的 。 然 后 ,我 们 详细 讨论 了 归并 排序 算法 。 之 所 以 选 









































择 这 个 算法 是 出 于 下 面 这 些 理由 : 首先 , 它 是 一 种 非常 实用 并 且 非 常 有 名 的 算法 ， 
























































是 读者 应 该 掌握 的 ; 其 次 ， 它 是 一 种 非常 合适 的 “热身 ”算法 ， 可 以 为 以 后 学 习 





























更 复杂 的 算法 打下 良好 的 基础 ， 最 后 ， 它 是 分 治 算法 设计 范式 的 权威 引导 教程 。 
在 本 章 的 最 后 ,我 们 将 描述 一 些 算法 分 析 的 指导 原则 。 在 本 书 中 ,我 们 将 使 用 这 

























































































些 原则 对 本 书 所 介绍 的 











法 进行 分 析 。 


1.1 为 什么 要 学 习 算 法 


我 们 首先 要 阐明 本 























的 价值 ， 帮 助 读者 激发 学 习 算法 的 热情 。 那么 , 什么 是 























算法 呢 ?” 它 是 一 组 具有 良好 定义 的 规则 (或 者 说 是 一 种 配方 )， 可 以 有 效 地 解决 
一 些 计 算 方 面 的 问题 。 我 们 可 能 要 处 理 一 大 串 数字 ， 需 要 对 它们 进行 重新 整理 ， 



































使 它们 按 顺 序 排列 ， 我 人 
































] 可 能 需要 在 地 图 上 计算 从 某 个 起 点 到 某 个 目标 地 点 的 最 
































短路 径 ; 我 们 可 能 需要 在 菜 个 最 后 期 限 之 前 完成 一 些 任 务 ， 并 且 需 要 知道 应 该 按 
照 什 么 样 的 顺序 完成 这 些 任 务 ， 使 它们 都 能 在 各 自 的 最 后 期 限 之 前 完成 。 

















我 们 为 什么 要 学 习 算 
算法 对 计算 机 科学 的 所 有 分 支 都 非常 重要 。 在 
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域 吕 








， 要 想 完 
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成 任何 实质 折 


的 工作 ， 理 解 
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色 大 多 数 的 计算 机 科学 分 支 领 
法 的 基础 知识 并 掌握 与 算法 密切 相关 





的 数据 结构 知识 是 必 不 可 少 的 。 例 如 ， 在 斯 坦 福 大 学 ， 每 个 级 别 〈 学 士 、 硕 士 和 
博士 ) 的 计算 机 科学 系 都 需要 学 习 算 法 课 。 下 面 仅仅 是 算法 应 用 的 一 些 例 子 。 

(1) 通信 网 络 中 的 路 由 协议 需要 使 用 经 典 的 最 短路 径 算 法 。 

(2) 公 钥 加 密 依赖 于 高 效 的 数论 算法 。 

(3) 计算 机 图 像 学 需要 用 到 几何 算法 所 提供 的 计算 基 元 〈computational 
primitive) 功能 。 

(4) 数据 库 的 索引 依赖 于 平衡 搜索 树 这 种 数据 结构 。 

(5) 计算 机 生物 学 使 用 动态 编程 算法 对 基因 的 相似 度 进行 测量 。 





类 似 的 例子 还 有 很 多 。 


算法 是 技术 革新 的 推动 力 。 久 
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最 显而易见 的 
相关 联 的 各 个 Web 页 面 的 出 现 频 率 。 

这 种 算法 最 有 名 的 例子 是 Google 当前 所 使 有 
事实 上 , 在 美国 








个 例子 是 担 





索引 擎 使 有 

















宫 2010 年 12 








的 描述 : 






































一 系列 的 


























有 的 网 页 排名 (PageRank) 算法 。 
的 一 个 报告 中 ,总 统 的 科学 技术 顾问 作 了 如 下 

















法 在 现代 的 技术 革新 中 扮演 了 一 个 关键 的 角 
法 高 效 地 计算 与 特定 搜索 








“每 个 人 都 知道 摩尔 定律 ， 它 是 Intel 的 共同 创立 者 Gordon Moore 
于 1965 年 所 作 的 一 个 预测 : 集成 电路 中 的 半导体 密度 每 过 一 到 两 年 就 
会 扩大 一 倍 …… 在 许多 领域 ， 由 于 算法 的 改进 所 获得 的 性 能 提升 甚至 远 
远 超 过 由 于 处 理 器 速度 的 急剧 增加 所 带 来 的 性 能 提升 。”? 


算法 会 对 其 他 科学 产生 影射 。 
一 面 “ 镜 子 ”一 样 ， 越 来 越 多 地 用 于 对 
如 , 对 量子 计算 的 研究 为 量子 力学 提供 了 一 种 新 的 计生 
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说 这 个 话题 超出 了 本 书 的 范 
计算 机 科学 技术 之 外 的 过 程 i 
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视角 。 经 济 


但 算法 就 像 
行 影射 。 例 

















和 场 中 的 价格 


会 所 提供 的 报告 : Designing a Digital Future (第 71 页 )。 











1.2 整数 乘法 3 











波动 也 可 以 形象 地 看 作 一 种 算法 过 程 。 

甚至 ， 技 术 革 新 本 身 也 可 以 看 作 一 种 令 人 吃惊 的 有 效 搜索 算法 。 

学 习 算法 有 益 于 思维 。 当 我 还 是 一 名 学 生 时 ， 我 最 喜欢 的 课程 始终 是 那些 具 
有 挑战 性 的 课程 。 当 我 艰苦 地 征服 这 些 课程 时 ， 我 甚至 能 够 感觉 到 自己 的 智商 比 
刚 开始 学 习 这 些 课程 时 提高 了 几 个 点 。 我 希望 本 书 也 能 够 为 读者 提供 类 似 的 体验 。 

算法 很 有 趣 ! 最 后 , 我 希望 读者 在 读 完 本 书后 认为 算法 的 设计 和 分 析 是 件 简 
单 而 愉快 的 事情 。 这 并 非 易 事 , 因为 它 需要 把 精确 和 创新 这 两 个 特征 罕见 地 结合 
在 一 起 。 它 常常 会 给 我 们 带 来 挫折 ,但 有 时 会 让 我 们 深 深入 迷 。 别 忘 了 ， 妆 我 们 
还 是 小 孩子 时 ， 就 已 经 开始 学 习 算 法 了 。 











































































































































































































1.2 ”整数 乘 


1.2.1 ”问题 和 解决 方案 


小 学 三 年 级 的 时 候 ， 我 们 很 可 能 就 学 习 了 两 数 相 乘 的 计算 方法 ， 这 是 一 种 具有 
良好 定义 的 规则 ， 把 输入 (2 个 数 ) 转换 为 输出 〈 它 们 的 乘积 )。 在 这 里 ， 我 们 要 注 
意 区 分 两 个 不 同 的 概念 :一 个 是 对 需要 解决 的 问题 的 描述 ， 男 一 个 是 对 解决 方案 所 
使 用 方法 (也 就 是 问题 的 算法 ) 的 描述 。 在 本 书 中 ， 我 们 所 采用 的 模式 是 首先 介 

个 计算 问题 (输入 及 其 目标 输出 )， 然 后 描述 一 个 或 多 个 解决 该 问题 的 算法 。 


1.2.2 ”整数 乘法 问题 


在 整数 乘法 问题 中 ， 它 的 输入 是 两 个 n 位 数字 的 整数 ， 分 别称 为 x 和 y。x 
和 yy 的 长 度 n 可 以 是 任意 正 整 数 , 但 我 吉 励 读者 把 n 看 作 一 个 非常 巨大 的 数 ， 几 
干 甚至 更 大 ”。( 例 如 ,在 有 些 加 密 应 用 程序 中 ,可 能 需要 将 两 个 非常 巨大 的 数 相 











































































































































































































QD 如 果 想 把 两 个 不 同 长 度 的 整数 相 乘 〈 例 如 1234 和 56)， 一 个 简单 的 技巧 就 是 在 那个 较 短 的 数 前 面 添 
加 适当 数量 的 0 (例如 ，56 就 变 成 了 0056)。 另 外 ， 我 们 所 讨论 的 算法 也 可 以 进行 调整 ， 使 之 适应 不 
同 长 度 的 乘 数 。 
































乘 。) 整数 乘法 问题 的 目标 输出 就 是 x :y 这 个 乘积 


问题 : 整数 乘法 


输入 : 两 个 n 位 数字 的 非 负 整数 x 和 Jy。 
输出 : x 和 ?的 乘积 。 





1.2.3 “小 学 算 ; 





精确 地 定义 了 计算 问题 之 后 , 我 们 描述 一 



































对 
《1) 两 个 个 位 数 相 加 ; 
《2) 两 个 个 位 数 相 乘 ; 
(3) 在 一 个 数 的 之 前 或 之 后 添加 一 个 0。 


为 了 加 深 记 忆 , 我 们 讨论 
4) 这 两 个 整数 相 乘 。 详 细 过 程 如 图 1.1 所 示 。 





























二 个 数 最 后 一 位 数字 的 “部 分 乘积 ” 5678X4= 22 712。 
星 又 可 以 细 分 为 把 第 一 个 数 的 每 位 数字 与 4 相 乘 ， 并 在 必要 时 产生 “进位 ””。 
在 计算 下 一 个 部 分 乘积 (5678X3 = 17 034) 时 ， 我 们 执行 相同 的 操作 ， 并 把 结 
果 左 移 一 位 ， 相 当 于 在 末尾 添加 一 个 “0”。 对 于 剩 下 的 两 个 间 
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解决 该 问题 的 算法 ， 这 种 算法 和 
我 们 在 小 学 三 年 级 时 所 学 习 的 算法 是 一 样 的 。 我 们 通过 测量 它 所 执行 的 “基本 操 
作 ” 的 数量 来 评估 这 种 算法 的 性 能 。 现在, 我 们 可 以 把 基本 操作 看 作 下 列 的 操作 





























个 具体 的 例子 , 把 x=5678 和 y=1234 (因此 n= 

















这 种 算法 首 
计 











6 计算 第 一 个 数 与 第 

















相同 的 操作 。 最 后 一 个 步骤 就 是 把 所 有 的 4 个 部 分 乘积 相 加 。 





5678 
x 1234 


11356 
5678 


7006652 


n 行 17033 <2n 操作 





加 






































@ 8X4=32， 产 生 的 进位 是 3; 7x4=28，28 加 进位 3 等 





(每 行 ) 


1.1 整数 相 乘 的 小 学 生 算法 





这 个 部 分 乘积 的 过 























于 31， 
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此 产 入 


的 ; 


位 也 是 3， 以 此 类 推 。 














NN 1.2 整数 乘法 























回想 小 学 三 年 级 的 时 候 ， 我 们 接受 了 这 种 算法 的 正确 性 。 也 就 是 说 ， 不 
和 yy 是 什么 整数 ， 只 要 所 有 的 中 间 计 算 过 程 都 是 正确 的 ,这 种 算法 最 终 能 够 得 出 
两 个 输入 数 x 和 y 的 正确 乘积 。 

也 就 是 说 ， 我 们 绝 不 会 得 到 错误 的 答案 ， 并 且 它 不 会 陷入 无 限 循环 。 


1.2.4 ”操作 数量 的 分 析 


小 学 老师 很 可 能 不 会 讨论 实现 整数 相 乘 这 个 过 程 所 需要 的 基本 操作 的 数量 。 
为 了 计算 第 一 个 部 分 乘积 ， 我 们 把 4 依次 与 第 1 个 数 的 5、6、7、8 相 乘 ， 这 样 
就 产生 了 4 个 基本 操作 。 由 于 进位 的 原因 ， 我 们 还 需要 执行 一 些 加 法 操作 。 

般 而 言 ， 计 算 一 个 部 分 乘积 涉及 n 个 乘法 (每 位 数字 1 个 ) 以 及 最 多 
个 加 法 (每 位 数字 最 多 1 个 ), 总 共 最 多 是 2 个 基本 操作 。 第 一 个 部 分 乘积 和 其 
他 几 个 部 分 乘积 相 比 并 没有 任何 特殊 之 处 ， 每 个 部 分 乘积 都 是 最 多 需要 2n 个 基 
本 操作 。 由 于 一 共有 个 部 分 乘积 (第 2 个 整数 的 每 位 数字 各 产生 1 个 部 分 乘积 )， 
因此 计算 所 有 的 部 分 乘积 最 多 需要 n. 2n = 2m 个 基本 操作 。 我 们 还 需要 把 所 有 
的 部 分 乘积 相 加 得 到 最 终 的 答案 , 但 这 个 过 程 仍然 需要 相当 数量 的 基本 操作 (最 
多 可 达 2m)。 该 算法 的 基本 操作 的 数量 总 结 如 下 : 

基本 操作 的 数量 三 常数 (此 例 中 为 2) : 妈 


可 以 想象 , 当 输入 数 的 位 数 越 来 越 多 时 , 这 种 算法 所 执行 的 基本 操作 的 数量 
也 会 急剧 增加 。 如 果 把 输入 数 的 位 数 增加 一 倍 , 需要 执行 的 基本 操作 的 数量 是 原 
来 的 4 倍 。 如 果 输 入 的 位 数 是 原来 的 4 倍 ， 那 么 基本 操作 的 数量 就 是 原来 的 16 
倍 ， 以 此 类 推 。 
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Xx 
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1.2.5 ”还 能 做 得 更 好 吗 


由 于 读者 所 接受 的 小 学 教育 略 有 差异 ， 有 些 读 者 可 能 会 觉得 上 面 这 种 方法 
是 唯一 可 行 的 ， 还 有 些 读 者 认为 它 至 少 是 两 数 相 乘 最 合适 的 方法 之 一 。 如 果 想 
成 为 一 名 严肃 的 算法 设计 师 ， 那 你 必须 要 摆脱 这 种 认为 旧 有 方法 理所当然 的 顺 
从 思维 。 
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Aho、Hopcroft 和 Ullman 的 经 典 算法 名 著 在 讨论 了 一 些 算 法 设计 范式 之 后 
对 于 这 个 问题 提出 了 自己 的 见解 : 

“或 许 ， 成 为 优秀 算法 设计 师 的 最 重要 原则 就 是 拒绝 满足 。”” 

或 者 如 我 所 归纳 的 ， 每 一 名 算法 设计 师 都 应 该 坚守 下 面 这 个 信条 : 

我 还 能 做 得 更 好 吗 ? 

当 我 们 面 对 一 个 计算 问题 的 简单 解决 方案 时 , 这 个 问题 就 显得 格外 合适 。 在 
小 学 三 年 级 时 , 老师 不 可 能 要 求 我 们 对 这 种 简单 的 整数 相 乘 算法 进行 改进 。 但 是 
到 了 现在 这 个 时 候 ， 无 疑 是 提出 这 个 问题 的 良好 时 机 。 













































































































































































1.3 Karatsuba 乘 ; 




















法 设计 的 空间 之 丰富 达到 了 令 人 吃惊 的 程度 , 除了 小 学 三 年 级 所 学 习 的 方 
法 之 外 , 肯定 还 有 其 他 有 趣 的 方法 可 以 实现 两 个 整数 的 乘法 。 本 节 描 述 了 一 种 名 
为 Karatsuba 乘法 2 的 方法 。 


1.3.1 一 个 具体 的 例子 


为 了 让 读者 更 方便 了 解 Karatsuba 乘法 ,我 们 还 是 沿用 前 面 的 x= 5678 和 y= 
1234 这 个 例子 。 我 们 将 执行 一 系列 与 之 前 的 小 学 算法 截然 不 同 的 步 又， 最终 也 
生成 x .yy 这 个 乘积 。 这 些 步骤 序列 可 能 会 让 读者 觉得 非常 神秘 ， 就 像 魔术 师 
突然 从 自己 的 帽子 里 搜 出 一 只 兔子 一 样 。 在 本 节 的 后 面 ， 我 们 将 介绍 什么 是 
Karatsuba 乘法 ， 并 解释 它 的 工作 原理 。 现 在 ， 我 们 需要 领悟 的 一 个 关键 要 点 
就 是 我 们 可 以 通过 许多 令 人 眼花 综 乱 的 方法 来 解决 诸如 整数 乘法 这 样 的 计 
问题 。 


首先 ， 我 们 把 x 的 前 半 部 分 和 后 面部 分 划分 开 来 ， 并 分 别 为 它们 命名 为 a 



















































































































































































AlfredV.Aho、 John E. Hopcroft 和 Jeffrey D. Ullman, The Design and Analysis of Computer Algorithms, 
Addison-Wesley，1974 年 出 版 ， 第 70 页 。 
@ 这 种 算法 是 Anatoly Karatsuba 于 1960 年 发 现 的 ， 当 时 他 还 是 一 名 23 岁 的 学 生 。 


























1.3 Karatsuba 乘法 


和 2 (因此 wa=56，D=78)。 


类 似 ，c 和 4 分 别 表 示 12 和 34 【图 1.2)。 

















a ~ b 
CD 和 
C124 ) 
C d 


图 1.2 把 一 个 4 位 整数 看 成 是 一 对 两 位 整数 


























接着 ， 我 们 执行 一 系列 的 操作 ， 它 们 只 涉及 两 位 数 a、b、c 和 qd， 并 最 终 用 
一 种 神奇 的 方法 把 它们 组 合 在 一 起 ， 产 生 x 和 yy 的 乘积 。 


步骤 1: 计算 wa.c=56x12， 其 结果 为 672 〈 欢 迎 读者 验算 )。 
























































步骤 2: 计算 2 .dg=78x34=2652。 

接 下 来 的 两 个 步骤 显得 更 加 神秘 : 

步骤 3: 计算 (a+b): (ct+d)=134x46=6164。 

步骤 4: 步骤 3 的 结果 减 去 前 两 个 步骤 的 结果 6164 - 672 - 2562 = 2840。 


最 后 ， 我 们 把 步骤 1、2、4 的 结果 相 加 ， 不 过 在 此 之 前 先 在 步 又 1 的 结果 后 
面 加 上 4 个 0， 在 步骤 4 的 结果 后 面 加 上 2 个 0。 

步骤 $， 计 算 104x672 + 10? x 2840 + 2652 = 6 720 000 + 284 000 + 2652 = 
7 006 652。 

这 个 结果 与 第 1.2 节 的 小 学 算法 所 产生 的 结果 完全 相同 ! 

读者 肯定 不 明白 这 中 间 到 底 发 生 了 什么 。 我 希望 读者 既 对 此 感到 困惑 , 又 为 
此 入 迷 , 并 且 非 常 愉快 地 发 现 除了 小 学 所 学 习 的 整数 相 乘 算法 之 外 , 还 存在 其 他 
完全 不 同 的 算法 。 一 旦 意识 到 算法 空间 之 广阔 ， 我 们 就 会 萌生 这 样 的 想法 : 我 们 
能 不 能 比 小 学 算法 做 得 更 好 ? 上 面 所 描述 的 这 种 算法 是 不 是 更 加 优秀 ? 
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1.3.2 一 种 递归 得 ; 


在 详细 分 析 Karatsuba 乘法 之 前 ， 我 们 先 探 索 一 种 更 简单 的 处 理 整 数 乘法 的 





7 








递归 方法 "。 整 数 乘法 的 递归 算法 大 致 可 以 理解 为 调 | 
如 在 上 面 的 例子 中 ， 先 执行 12、34、56、78 这 些 整数 的 乘法 )。 





























j 更 少 位 数 的 整数 乘法 《〈 例 


一 般 而 言 ， 位 数 为 偶数 的 数 x 可 以 表示 为 2 个 n/2 位 的 数 ， 即 它 的 前 半 部 


分 a 和 后 半 部 分 b: 





x=10" .a+b 
类 似 ， 我 们 也 可 以 得 到 下 面 的 结果 : 


y=10"” .c+td 





为 了 计算 x 和 y 的 乘积 ， 我 们 使 用 上 面 这 两 个 表达 式 并 把 它们 相 乘 : 





xy=(102 :a+b):(10" :c+dqd) 


=10":(a:o+l02. (ad+pc)+Dd 























注意 ， 表 达 式 〈1.1) 中 的 所 有 乘法 要 么 是 在 一 对 n/2 位 的 整数 之 间 进 行 的 ， 


要 么 涉及 10 的 乘 方 。% 









































表达 式 〈1.1) 提示 用 一 种 递归 方法 进行 两 个 整数 的 相 乘 。 为 了 计算 x:y 这 





个 乘积 ， 我 们 对 表达 式 〈1.1) 进行 计算 。4 个 相关 的 乘积 (a:c、a:d、b:c 和 





bd) 所 涉及 的 位 数 都 少 于 n， 因 此 我 们 可 以 用 递归 

















递归 调用 带 着 各 自 的 答案 返回 时 ， 我 们 就 可 以 很 简 自 
了 : 在 a:c 后 面 加 上 nn 个 0; 把 a*4 和 4b:c 相 加 (使 月 






































它们 。 当 这 4 个 


地 计算 表达 式 〈1.1) 的 值 
小 学 加 法 )， 并 在 得 出 




















的 结果 后 面 加 上 n/2 个 0， 并 最 终 把 这 两 个 表达 式 与 4 相 加 2?。 我 们 用 下 面 的 




















伪 码 对 这 种 名 为 RecIntMult 的 算法 进行 总 结 ®。 





























QD 相信 读者 都 拥有 一 定 的 编程 背景 , 所 以 应 该 听 说 过 递归 的 概念 。 递 归 就 是 以 子 程序 的 形式 用 一 个 更 小 



































的 输入 调用 自身 ， 直 到 触发 某 个 基本 条 件 。 


























@ 简单 起 见 , 我 们 假设 n 是 2 的 整数 次 方 。 为 了 满足 这 个 先决 条 件 ， 
添加 适当 数量 的 0， 这 最 多 可 导致 的 长 度 增加 一 倍 。 男 外 ， 当 n 




















相同 长 度 的 数 也 是 可 行 的 。 
@ 递归 算法 还 需要 一 个 或 多 个 基本 条 件 ， 这 样 它 才 不 会 无 限制 地 调 













































































x 和 yy 是 一 位 数 ， 此 时 就 只 用 一 个 基本 操作 将 它们 相 乘 并 返回 结果 。 










































































@ 在 伪 码 中 ， 我 们 使 用 “=” 表 示 相 等 性 测试 ， 使 用 “:=” 表 示 变 量 赋 























的 技巧 就 是 在 x 和 > 前 面 
是 奇数 时 ， 把 x 和 yy 分 为 两 个 几乎 














。 在 这 个 例子 中 ,基本 条 件 是 








输出 : x 和 ?了 的 乘积 。 


if nn = 1 then 


else 








先决 条 件 : n 是 2 的 整数 次 方 。 
// 基本 条 件 ” 
通过 单个 步骤 计算 x .y， 并 返回 结果 





YN 1.3 Karatsuba 乘法 


RecIntMult 


输入 : 两 个 nn 位 正 整 数 x 和 J。 




















// 递归 条 件 





a，b := x 的 前 半 部 分 和 后 半 部 分 
c, d := y 的 前 半 部 分 和 后 半 部 分 
以 递归 的 方法 计算 ac 





:= ac ad := a'd, bc := b':c, bd := b':d 
使 用 小 学 数学 加 法 计算 10" .ac + 10” (ad + bc) + bd 并 返回 结果 























RecIntMult 算法 和 小 学 算法 相 比 是 更 快 还 是 更 慢 呢 ?现在 读者 对 这 个 问题 
应 该 不 会 有 直观 的 感觉 ， 我 们 将 在 第 4 章 讨论 这 个 问题 的 答案 。 

















1.3.3 Karatsuba 乘 ; 





Karatsuba 乘法 是 RecIntMult 














c、d 进行 了 扩展 的 x'y 表达 式 (1.1) 3 






















































































法 的 一 种 优化 版 本 。 
下 始 。RecIntMult 算法 使 用 了 4 个 递归 调 
]， 分 别 用 于 表达 式 (1.1) 中 的 每 个 n/2 位 数 之 间 的 乘积 。 我 们 事实 上 并 不 真 
正 关心 a. d 或 5.c, 只 是 关注 它们 的 和 a :d+b:c。 由 于 我 们 真正 关心 的 只 有 


我 们 仍然 从 根据 a、b、 

















3 个 值 : ac、 ad+pc 和 D:d 那么 是 不 是 只 用 3 个 递归 调用 就 可 以 了 呢 ? 






































为 了 观察 这 种 想法 是 否 可 行 ， 我 们 首先 像 前 面 一 样 以 递归 的 方式 调用 a c 





和 ad。 


步骤 1: 用 递归 的 方式 计算 a ' c。 
步骤 2: 用 递归 的 方式 计算 2 .ad。 





我 们 不 再 递归 地 计 





QD 递归 的 基本 条 件 又 被 称 为 递归 的 终止 条 件 。 一 一 译 者 注 


























a'd 或 pc, 而 是 递归 地 计生 














a+b 和 c+4d 的 乘积 2。 

















@ at+b 和 c+d 这 两 个 数 最 多 可 能 有 (n/2)+1 位 数 ， 但 是 这 种 算法 仍然 是 适用 的 。 





步骤 3: 计算 a+b 和 c+d (使 用 小 学 加 法 )， 并 以 递归 的 方式 计算 (a + b)-(e 
+ d)。 

Karatsuba 乘法 所 使 用 的 关键 技巧 来 源 于 19 世纪 早期 的 著名 数学 家 Carl 
Friedrich Gauss， 这 是 他 在 思考 复数 乘法 时 所 想到 的 方法 。 从 步骤 3 的 结果 中 减 
去 前 两 个 步 又 的 结果 所 得 到 的 值 正 是 我 们 所 需要 的 , 也 就 是 表达 式 (1.1) 中 ad 
+b:c 的 中 间 系 数 : 















































(a+b):(c+td)-a:c-b:d=a:d+b':c 
A 


=a:cta:d+b:ctb:d 
步骤 4: 从 步骤 3 的 结果 中 减 去 前 两 个 步骤 的 结果 ， 获 得 a . 4+ bc 的 值 。 
最 后 一 个 步 又 就 是 计算 表达 式 (1.1)， 其 方法 与 RecIntMult 算法 相同 。 


步骤 $: 在 步骤 1 的 结果 后 面 加 上 nn 个 0， 在 步骤 4 的 结果 后 面 加 上 n/2 个 0， 
然后 将 它们 与 步骤 2 的 结果 相 加 ， 以 计算 表达 式 (1.1)。 





























Karatsuba 
输入 : 2 个 nn 位 正 整 数 x 和 yy。 
输出 : x 和 ?) 的 乘积 。 


先决 条 件 : n 是 2 的 整数 次 方 。 
if n = 1 then // 基 本 条 件 
通过 单个 步 聚 计算 出 x.y 并 返回 结果 
else // 递归 条 件 
a，b := x 的 前 半 部 分 和 后 半 部 分 
c，d := y 的 前 半 部 分 和 后 半 部 分 
使 用 小 学 加 法 计算 p:= a + b 和 gq:=c+d 
以 递归 的 方法 计算 ac := ac bd :=b:d 和 pq:= pi'q 
使 用 小 学 加 法 计算 adbc:= pq - ac - bd 
使 用 小 学 加 法 计算 10” .ac + 10”?.adbc + bd 并 返回 结果 


Karatsuba 乘法 只 进行 了 3 个 递归 调用 ! 节省 1 个 递归 调用 应 该 能 够 节省 整 
体 运 行 时 间 ， 但 能 够 节省 多 少 呢 ? Karatsuba 算法 是 不 是 比 小 学 乘法 更 快 ? 答案 
并 不 显而易见 ,不 过 我 们 将 在 第 4 章 引 入 一 个 方便 的 应 用 工具 , 用 于 对 这 类 分 治 
算法 的 运行 时 间 进 行 分 析 。 




















































































































YN 1.4 MergeSort 算法 


关于 伪 码 
本 书 在 解释 算法 时 混合 使 用 了 高 级 伪 码 和 日 常 语言 (就 像 本 节 一 样 )。 
我 假设 读者 有 能 力 把 这 种 高 级 描述 转换 为 自己 所 擅长 的 编程 语言 的 工作 
代码 。 有 些 书籍 和 一 些 网 络 上 的 资源 使 用 某 种 特定 的 编程 语言 来 实现 各 种 
不 同 的 算法 。 


强调 用 高 级 描述 来 代替 特定 语言 的 实现 的 第 一 个 优点 是 它 的 灵活 性 : 


我 假设 读者 熟悉 某 种 编程 语言 ， 但 我 并 不 关注 具体 是 哪 种 。 其 次 ， 这 种 方 
法 能 够 在 一 个 更 深入 的 概念 层次 上 加 深 读 者 对 算法 的 理解 , 而 不 需要 关注 
底层 的 细节 。 经 验 丰富 的 程序 员 和 计算 机 科学 家 一 般 也 是 在 一 种 类 似 的 高 
级 层次 上 对 算法 进行 思考 和 交流 。 


但 是 ， 要 想 对 算法 有 一 个 深入 的 理解 ， 最 好 能 够 自己 实现 它们 。 我 强 
烈 建 议 读者 只 有 要 时 间 ， 就 应 该 尽 可 能 多 地 实现 本 书 所 描述 的 算法 。( 这 
也 是 学 习 一 种 新 的 编程 语言 的 合适 借口 ! ) 每 个 章节 最 后 的 编程 问题 和 支 
持 测试 案例 提供 了 这 方面 的 指导 意见 。 


1.4 MergeSort 算法 

















在 本 节 中 , 我 们 第 一 次 对 一 个 具有 相当 深度 的 算法 的 运行 时 间 进 行 分 析 ， 




















个 仿 











法 就 是 著名 的 MergeSort( 归 并 排序 ) 算法 。 


1.4.1 推动 力 


MergeSort 是 一 种 相对 古老 的 算法 ， 早 在 1945 年 就 由 约翰 。 冯 “" 诺 依 曼 提 出 





的 排序 算法 。 它 在 实践 中 被 一 直 沿 用 ， 仍 然 是 许多 程序 库 中 的 标准 排序 算法 


















































并 广为人知 。 我 们 为 什么 要 在 现代 的 算法 课程 中 讨论 这 样 的 古老 例子 呢 ? 
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入 











姜 还 是 老 的 辣 。 尽 管 已 经 70 岁 “ 高 龄 ”， 但 MergeSort 仍然 是 一 种 可 供 选 择 
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经 典 的 分 治 算法 。 分 治 算法 设计 范式 是 一 种 通用 的 解决 问题 的 方法 , 在 许多 
不 同 的 领域 有 着 大 量 的 应 用 。 它 的 基本 思路 就 是 把 原始 问题 分 解 为 多 个 更 小 的 子 
问题 , 并 以 递归 的 方式 解决 子 问 题 , 最 终 通过 组 合子 问题 的 解决 方案 得 到 原始 问 
题 的 答案 。MergeSort 可 以 作为 一 个 良好 的 起 点 ， 帮 助 我 们 理解 分 治 算法 范式 以 
及 它 的 优点 ， 包 括 它 所 面临 的 分 析 挑 战 。 


校准 预备 条 件 。 本 节 对 MergeSort 的 讨论 可 以 让 读者 明白 自己 当前 的 技术 水 
平 是 否 适 合 阅读 本 书 。 我 假设 读者 具有 一 定 的 编程 和 数学 背景 (具有 一 定 实践 经 
验 )， 能 够 把 MergeSort 的 高 级 思路 转换 为 自己 所 喜欢 的 编程 语言 的 工作 程序 ， 
并 且 能 够 看 懂 我 们 对 算法 所 进行 的 运行 时 间 分 析 。 如 果 读 者 能 够 适应 本 节 和 下 一 
节 的 内 容 ， 那 么 对 于 本 书 的 剩余 部 分 也 不 会 有 什么 问题 。 

推动 算法 分 析 的 指导 原则 。 本 节 对 MergeSort 运行 时 间 的 分 析 展 示 了 一 些 更 
加 基本 的 指导 原则 ， 例 如 探求 每 个 特定 长 度 的 输入 的 运行 时 间 上 界 以 及 算法 的 运 
行 时 间 增 长 率 的 重要 性 〈 作 为 输入 长 度 的 函数 )。 

为 主 方法 热身 。 我 们 将 使 用 “递归 树 方法 ”对 MergeSort 进行 分 析 ， 这 是 一 
种 对 递归 算法 所 执行 的 操作 进行 累计 的 方法 。 第 4 章 将 集合 这 些 思路 生成 一 个 
“ 主 方法 ” 主 方 法 是 一 种 功能 强大 且 容 易 使 用 的 工具 , 用 于 界定 许多 不 同 的 分 治 
算法 的 运行 时 间 ， 包 括 第 1.3 节 所 讨论 的 RecIntMult 和 Karatsuba 算法 。 


1.4.2 排序 


读者 很 可 能 对 排序 问题 以 及 一 些 解决 排序 问题 的 算法 已 经 有 所 了 解 , 我们 姑 
且 把 它们 放 在 一 起 。 






























































































































































































































































问题 : 排序 
输入 : 一 个 包含 nn 个 数 的 数组 ， 以 任意 顺序 排列 。 
输出 : 包含 与 输入 相同 元 素 的 数组 ， 但 它们 已 经 按照 从 小 到 大 的 顺序 排列 。 


例如 ， 假 设 输入 数组 是 : 














加 6 


一 
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mE | 








目标 输出 数组 是 : 


YN 1.4 MergeSort 算法 














在 上 面 这 个 例子 中 , 输入 数组 中 的 8 个 数 是 各 不 相同 的 。 即 使 数组 中 出 现 了 


重复 的 数 , 排序 也 不 会 变 得 更 困 
我 们 假设 输入 数组 9 
进行 修改 〈 如 果 可 以 修改 )， 使 之 能 够 处 理 习 





























E, 其 至 变 得 更 简单 。 但是, 为 了 尽 可 能 地 简单 ， 
FP 的 数 总 是 不 同 的 。 我 积极 鼓励 读者 对 我 们 所 讨论 的 排序 算法 











E 复 的 值 ”。 











如 果 读 者 并 不 关注 运行 时 间 的 优化 , 那么 要 想 实 现 一 种 正确 的 排序 算法 并 不 
也 许 最 简单 的 方法 就 是 首先 对 输入 数组 进行 扫描 , 找到 最 小 的 元 素 并 把 它 


困难 。 


复制 到 输出 数组 的 第 1 个 元 素 ， 接 着 扫描 并 复制 次 小 的 元 素 ， 接 下 来 依次 类 推 。 





















































荆 











这 种 算法 称 为 SelectionSort 〈 选 择 排序 )。 读 者 可 能 听 说 过 InsertionSort?” (插入 
排序 )， 这 是 同一 个 思路 的 一 种 更 灵巧 的 实现 方法 ， 它 把 输入 数组 中 的 每 个 元 素 
依次 插入 到 有 序 的 输出 数组 中 的 适当 位 置 。 读 者 可 能 还 听 说 过 BubbleSort( 冒 泡 
排序 )， 它 需要 对 一 对 对 相 邻 的 无 序 元 素 进行 比较 ， 并 执行 反复 的 交换 ， 直 到 整 


个 数组 实现 了 排序 。 所 有 这 些 算法 所 需要 的 











| 














运行 时 间 都 是 平方 级 的 ， 意 味 着 对 长 


度 为 n 的 数组 所 执行 的 操作 数量 级 是 巡 ， 即 输入 长 度 的 平方 。 我 们 能 不 能 做 得 
































算法 能 够 大 幅度 地 提高 性 能 。 


1.4.3 一 个 例子 


到 
3 1.4. 




















Ny 





























更 好 ? 通过 分 治 算法 的 范式 , 我 们 可 以 发 现 MergeSort 算法 较 之 这 些 简 单 的 排序 

















E 解 MergeSort 最 容易 的 方法 就 是 通过 
2 节 的 输入 数组 。 








个 具体 的 例子 (图 1.3)。 我们 将 使 





作为 一 种 递归 的 分 治 算法 ，MergeSort 以 更 小 的 输入 数组 调用 自身 。 把 一 个 





Q 在 实际 使 用 中 ， 每 个 数 〈 称 为 键 ) 常常 具有 相关 联 的 
障 号 码 为 键 对 员工 记录 (具有 姓名 、 工 资 等 数据 ) 进 
并 理解 它 能 够 保留 与 它 相 关联 的 数据 。 

@ 虽说 MergeSort 处 于 统治 地 位 ， 但 InsertionSort 在 某 些 情况 下 还 是 非常 常见 的 ， 尤 其 是 在 





























数据 《〈 称 为 值 )。 例 如 ， 我 们 可 能 需要 以 社会 保 






































长 度 较 小 的 时 候 。 








行 排序 。 我 们 把 注意 力 集中 在 对 键 进行 排序 上 ， 





























输入 数组 的 


el 
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排序 问题 分 解 为 多 个 更 小 的 排序 问题 的 最 简单 方法 就 是 把 输入 数组 对 半分 开 , 并 
分 别 以 递归 的 方式 对 数组 的 前 半 部 分 和 后 半 部 分 进行 排序 。 例 如 ， 在 图 1.3 中 ， 
输入 数组 的 前 半 部 分 和 后 半 部 分 分 别 是 {5, 4, 1 8} 和 {7, 2, 6, 3}。 通 过 神奇 的 递归 
(如 果 读 者 喜欢 , 也 可 以 称 为 归纳 ), 第 一 个 递归 调用 对 前 半 部 分 进行 正确 的 排序 ， 
返回 数组 {1, 4, 5, 8}。 第 二 个 递归 调用 则 返回 数组 {2, 3, 6, 7} 。 




























































































图 1.3 通过 一 个 具体 例子 领会 MergeSort 























最 后 的 “归并 ” 步 又 把 这 两 个 已 经 排序 的 长 度 为 4 的 数组 组 合 为 一 个 已 经 排 
序 的 包含 8 个 数 的 数组 。 下 面 描述 了 这 个 步骤 的 细节 ,其 思路 是 通过 索引 遍历 每 
个 已 经 排序 的 子 数组 ， 并 按照 从 左 到 右 的 有 序 方式 生成 输出 数组 。 





















































1.4.4 伪 码 

图 1.3 大 致 相当 于 下 面 的 伪 码 。 对 于 通用 的 问题 ， 它 有 两 个 递归 调用 和 一 个 
归并 步骤 。 和 往常 一 样 , 我 们 的 描述 并 不 需要 逐 行 转换 为 工作 代码 (尽管 已 经 相 
当 接 近 )。 






































MergeSort 
输入 : 包含 nn 个 不 同 整 数 的 数组 4。 
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行 了 排序 。 
// 忽略 基本 条 件 




















C := 对 A 的 前 半 部 分 进行 递归 排序 
D := 对 A 的 后 半 部 分 进行 递归 排序 








返回 Merge (C，D) 


1.4 MergeSort 算法 


输出 包含 与 数组 4 相同 整数 的 数组 ， 这 些 整数 已 经 按照 从 小 到 大 的 方式 进 








这 段 伪 码 省 略 了 一 些 内 容 , 这 些 内 容 值得 予以 说 明 。 作 为 一 种 递归 外 

















法 , 它 














必须 有 一 个 或 多 个 基本 条 

















牛 ， 如 果 不 再 有 进一步 的 递归 ， 就 直接 返回 答案 。 


因此 ， 











如 果 输 入 数组 4 只 包含 0 























个 或 1 个 元 素 ，MergeSort 就 返回 该 数组 ( 它 显 然 已 经 
排序 )。 这 段 伪 码 并 没有 详细 说 明 当 n 是 奇数 时 ,“ 前 半 部 分 ”和 “后 半 部 分 ”是 























怎么 划分 的 ， 但 那 种 显而易见 的 理解 (其 中 一 半 比 另 一 半 多 








一 个 元 素 ) 是 可 行 的 。 














最 后 ， 这 段 伪 码 忽略 了 怎么 把 两 个 子 数组 实际 传递 给 它们 各 自 的 递归 调用 的 实现 














细节 。 这 些 细节 取决 于 
集中 在 超越 任何 特定 编程 语言 的 概念 上 。 


1.4.5 ”Merge 子 程序 


我 们 应 该 怎样 实现 归并 步骤 呢 ? 此 时 ， 两 个 递归 调用 
作 ， 我 们 所 
序 遍历 这 两 个 已 经 排序 的 子 数 组 ,# 














| 

































































Merge 
输入 : 已 经 排序 的 数组 C 和 万 (每 个 数组 的 长 度 为 n/2 )。 
输出 : 已 经 排序 的 数组 BP (长 度 为 n)。 
简化 的 先决 条 件 : n 是 偶数 。 


1 i.:= 1 
2]j := 1 
3 for k := 1 to n do 











(D 我们 从 1 开始 标识 数组 项 (而 不 是 从 0 开始 )， 并 使 
细节 因 不 同 的 编程 语言 而 异 。 






































编程 语言 。 高 级 伪 码 的 要 点 就 是 忽略 这 类 细节 ， 把 注意 力 











已 经 完成 了 它们 的 工 











有 了 两 个 已 经 排序 的 长 度 为 w2 的 子 数组 C 和 DD。 我 们 的 思路 是 按 顺 
按照 从 左 到 右 的 方式 有 序 地 生成 输出 数组 ”。 











“A[i]” 这 种 语法 表示 数组 4 的 第 i 项 。 这些 
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4 if C[i] < DI ] then 

5 BIk] := C[i]  // 生成 输出 数组 
6 i := i+1 // i 的 值 增 加 1 
7 else Ds i | 
8 Bk] ED 

9 | 

















我 们 根据 索引 Ek 遍历 输出 数组 ， 根 据 索 引 i 和 和 j 遍历 已 经 排序 的 子 数组 。 这 
3 个 数组 都 是 从 左 向 右 进行 遍历 的 。 第 3 行 的 for 循环 实现 向 输出 数组 的 传递 。 
在 第 一 次 迭代 中 ， 这 个 子 程序 确认 C 或 D 中 的 最 小 元 素 ， 并 把 它 复制 到 输出 数 
组 B 的 第 一 个 位 置 。 最 小 元 素 要 么 在 C〈 此 时 为 C[1]， 因 为 C 是 经 过 排序 的 )， 
要 么 在 D〈( 此 时 为 D[1]， 因 为 D 是 经 过 排序 的 )。 把 对 应 索引 (i 或 站 的 值 加 1 
就 有 效 地 略 过 了 刚刚 已 经 被 复制 的 元 素 。 再 次 重复 这 个 过 程 ， 和 寻找 C 或 D 中 剩 
余 的 最 小 元 素 (全 体 中 的 第 二 小 元 素 )。 一 般 而 言 ， 尚 未 被 复制 到 B 的 最 小 元 素 
是 C[i] 或 DL ]。 这 个 子 程序 检查 哪个 元 素 更 小 ， 并 进行 相应 的 处 理 。 由 于 每 次 迭 
代 都 是 复制 C 或 刀 中 所 剩 下 的 最 小 的 那个 元 素 ， 因 此 输出 数组 确实 是 按 有 序 的 
方式 生成 的 。 

和 往常 一 样 , 我 们 的 伪 码 有 意 写 得 比较 粗略 , 这 是 为 了 强调 整 片 森林 而 不 是 
具体 的 树木 。 完 整 的 实现 应 该 要 追踪 C 或 D 是 否 已 经 遍历 到 了 数组 的 末尾 ， 此 
时 就 把 另 一 个 数组 的 所 有 剩余 元 素 都 复制 到 数组 B 的 最 后 部 分 ( 按 顺 序 )。 现在 ， 
就 是 读者 自行 实现 MergeSort 算法 的 好 时 机 。 
































































































































































































































1.5 MergeSort 算法 分 析 











作为 一 个 长 度 为 n 的 输入 数组 的 函数 ，MergeSort 算法 的 运行 时 间 是 怎么 样 
的 呢 ? 它 是 不 是 比 更 为 简单 的 排序 方法 例如 SelectionSort、InsertionSort 和 
BubbleSort 速度 更 快 呢 ? “运行 时 间 ” 表 示 算 法 的 一 个 具体 实现 所 执行 的 代码 的 
行 数 。 我 们 可 以 把 它 看 成 是 在 这 个 具体 的 实现 中 用 调试 器 进行 逐 行 追踪 ,每 次 追 
踪 一 个 “基本 操作 ”。 我 们 所 感 兴趣 的 是 在 程序 结束 之 前 调试 器 所 执行 的 步 数 。 
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1.5.1 Merge 的 运行 时 间 





























分 析 MergeSort 算法 的 运行 时 间 是 一 项 令 人 望 而 生 其 的 任务 , 因为 它 是 一 种 
会 不 断 调 用 自身 的 递归 算法 。 因 此 ,在 刚 开始 热身 时 ,我 们 首先 完成 一 个 更 简单 
的 任务 , 就 是 理解 在 单 次 调用 Merge 子 程 序 时 (其 参数 是 两 个 长 度 为 《4/2 的 已 经 
排序 的 数组 ) 所 执行 的 操作 数量 。 我 们 可 以 通过 检查 1.4.5 节 的 代码 (其 中 的 7 
对 应 于 4 ) 直接 完成 这 个 任务 。 首先, 第 1 行 和 第 2 行 各 自 执 行 一 项 初始 化 操作 ， 
我 们 将 它们 计 为 2 个 操作 。 然 后 ， 是 一 个 总 共 执 行 2 次 的 for 循环 。 这 个 循环 的 
















































































































































































每 次 迭代 在 第 4 行 执行 一 个 比较 操作 









































































































































4L+2 三 6!。 因 此 ，62 是 Merge 子 程序 所 执行 的 操作 数量 的 合法 上 界 。 





， 并 在 第 5 行 或 第 8 行 执行 一 个 赋值 操作 ， 
然后 在 第 6 行 或 第 9 行 执 行 一 个 变量 值 加 1 的 操作 。 在 循环 的 每 次 推 运 代 中 ， 
环 索引 的 值 也 要 增加 1。 这 意味 着 这 个 循环 的 《次 迭代 每 次 都 执行 4 个 基本 操 
作 ”。 这 样 累加 起 来 ， 我 们 可 以 推断 出 当 Merge 子 程序 对 两 个 长 度 均 为 4/2 的 已 
经 排序 的 数组 进行 归并 时 ， 最 多 需要 执行 44+ 2 个 操作 。 接 下 来 ， 我 们 继续 透 
支 一 些 读者 对 作者 的 信任 , 采用 一 个 粗略 的 不 等 式 进一步 简化 任务 : 当 ! 过 1 时 ， 


循 











辅助 结论 1.1 (Merge 的 运行 时 间 ) 对 于 每 一 对 长 度 为 /2 的 已 经 排序 的 数 


组 C 和 刀 ，Merge 子 程序 最 多 执行 64 个 操作 。 








关于 辅助 结论 、 定 理 等 名 词 


在 数学 著作 中 , 最 重要 的 技术 性 陈述 是 带 编 号 的 定理 。 辅 助 结论 是 一 
种 用 于 协助 证 明定 理 的 技术 性 陈述 (就 像 Merge 帮助 实现 MergeSort 一 
样 )。 推 论 是 一 种 从 一 个 已 经 被 证 明 的 结果 引导 产生 的 结论 ， 例 如 一 个 定 
理 的 一 种 特殊 情况 。 对 于 那些 本 身 并 不 是 特别 重要 的 独立 的 技术 性 陈述 ， 
我 们 将 使 用 命题 这 个 术语 。 


























(D 有 些 人 可 能 觉得 4 这 个 数字 并 不 精确 ,每 次 迭代 时 把 循环 索引 与 它 的 上 界 进行 比较 是 不 是 也 要 

















滤 成 
4 影 


是 一 个 额外 的 操作 (这 样 总 数 就 是 5 个 基本 操作 ) ? 1.6 节 将 会 解释 为 什么 类 似 这 样 的 计数 差别 的 影 

















响 微乎其微 。 出 于 作者 与 读者 之 间 的 信任 ， 读 者 只 要 认可 每 次 迭代 执行 4 个 基本 操作 就 可 以 了 。 
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1.5.2 ”MergeSort 的 运行 时 间 


我 们 怎样 才能 从 Merge 子 程序 的 简明 分 析 转 到 MergeSort 的 分 析 呢 ? 要 知道 
递归 算法 会 产生 更 多 的 对 自身 的 调用 ， 更 为 可 怕 的 是 递归 调用 数量 的 快速 增长 。 
着 递归 深度 的 加 深 , 递归 调用 的 数量 以 指数 级 的 速度 增长 。 我 们 必须 记 住 一 个 
实 , 传递 给 每 个 递归 调用 的 输入 要 明显 小 于 上 一 级 递归 调用 的 输入 。 这 里 存在 
两 个 相互 制衡 的 竞争 因素 : 一 方面 是 需要 解决 的 子 问题 的 数量 呈 爆 炸 性 增长 ; 另 
一 方面 是 这 些 子 问 题 的 输入 越 来 越 小。 协调 好 这 两 个 竞争 因素 有 助 于 我 们 对 
MergeSort 进行 分 析 。 最 后 ,我 们 将 证 明 MergeSort (包括 它 的 所 有 递归 调用 ) 所 
执行 的 操作 数量 的 上 界 ， 这 是 一 个 非常 具体 且 实 用 的 结论 。 


定理 1.2 (MergeSort 的 运行 时 间 ) 对 于 每 个 长 度 n 三 1 的 输入 数组 ，MergeSort 
算法 所 执行 的 操作 数量 上 界 为 6nlogzn + 6n， 其 中 log; 表示 以 2 为 底 的 对 数 。 
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dd 



























































































































































关于 对 数 


有 些 读者 对 对 数 这 个 概念 十 分 恐惧 ,这 毫 无 人 必要。 对 数 实际 上 是 一 个 
非常 “脚踏实地 ”的 概念 。 对 于 正 整 数 n，logn 表示 下 面 的 含义 : 在 计 
算 器 中 输入 n， 将 它 不 断 除 以 2， 直 到 结果 小 于 等 于 1， 此 时 所 执行 的 除 
法 次 数 就 是 这 个 对 数 的 值 ". 例如 , 32 经 过 5 次 除 以 2 的 操作 之 后 等 于 1， 
因此 log 32 =5。1024 经 过 10 次 除 以 2 的 操作 之 后 等 于 1,， 因 此 log ;1024 
=10。 通 过 这 两 个 例子 会 我 们 产生 一 个 直 党 ， 那 就 是 logyn 的 值 要 比 元 小 
很 多 (10 与 1024 相 比较 ) 尤其 是 当 n 非常 大 的 时 候 。 图 1.4 的 图 形 验证 
了 这 个 直觉 。 


a 站 在 更 正规 的 学 术 角 度 上 ， 当 n 并 不 是 2 的 整数 次 方 时 ，logon 的 值 并 不 是 整数 ， 
上 面 所 描述 的 结果 实际 上 是 log2m 向 上 调整 为 最 接近 的 整数 。 我 们 可 以 忽略 这 些 细微 
的 差别 。 





NY 1.5 MergeSort 算法 分 析 
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图 1.4 对 数 函 数 的 增长 速度 要 比 恒 等 函 数 慢 很 多 。 本 图 的 对 数 函数 的 
底 为 2， 其 他 底 的 对 数 函数 的 图 形 也 类 似 









































定理 1.2 宣布 了 MergeSort 算法 的 优胜 , 并 列 出 了 分 治 算法 设计 范式 的 优点 。 
我 们 提 到 了 更 简单 的 排序 算法 如 SelectionSort、InsertionSort 和 BubbleSort 的 运 
行 时 间 , 它们 与 输入 长 度 n 是 平方 级 的 关系 , 意味 着 它们 所 需要 的 操作 数量 是 稳 
定 的 好 级 。 在 定理 1.2 中 ， 其 中 一 个 n 因子 被 logsn 所 代替 。 如 图 1.4 所 示 ， 这 
意味 着 MergeSort 的 运行 速度 一 般 要 比 更 简单 的 排序 算法 快 很 多 , 尤其 是 当 n 非 
常 大 的 时 候 ”。 


1.5.3 ”定理 1.2 的 证 明 


现在 ， 我们 对 MergeSort 算法 进行 完整 的 运行 时 间 分 析 ， 这 样 就 能 理直气壮 
地 宣称 递归 的 分 治 方法 所 产生 的 排序 算法 比 更 简单 的 排序 方法 要 快速 得 多 。 简 单 
起 见 , 我 们 假设 输入 数组 的 长 度 n 是 2 的 整数 次 方 。 我 们 只 需要 少量 的 额外 工作 
就 可 以 消除 这 个 前 提 条 件 。 


为 了 证 明定 理 1.2 所 描述 的 运行 时 间 上 界 , 我 们 使 用 了 一 棵 递归 树 , 如 图 



























































































































































河 














G@ 关于 这 方面 的 讨论 ， 可 以 参考 第 1.6.3 节 。 
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所 示 "。 递 归 树 方法 的 思路 是 在 一 个 树 结构 中 写 出 一 个 递归 调用 所 完成 的 所 有 工 
作 , 树 的 节点 对 应 于 递归 调用 , 一 个 节点 的 子 节 点 对 应 于 该 节点 所 制造 的 递归 调 
用 。 这 个 树 结构 向 我 们 提供 了 一 种 条 理化 的 方式 归纳 MergeSort 通过 所 有 的 递归 
调用 所 完成 的 所 有 工作 。 










































































第 0 层 (最 外 层 调用 ) | 完整 输入 | 


第 1 层 (第 一 级 递归 调用 ) 


ii i 


第 2 层 





OOOOOO0O0O000000000 


~ 
叶 (数组 中 的 单个 元 素 ) 




















1.5 MergeSort 递归 树 。 贡 点 对 应 于 递归 调用 。 第 0 层 对 应 于 MergeSort 的 
最 外 层 调 用 ， 第 1 层 对 应 于 它 的 递归 调用 ， 接 下 来 以 此 类 推 




































































递归 树 的 根 对 应 于 MergeSort 的 最 外 层 调用 ， 其 输入 就 是 原始 输入 数组 。 我 
们 称 之 为 这 棵 树 的 第 0 层 。 由 于 MergeSort 的 每 个 调用 会 产生 2 个 递归 调用 ， 因 
此 这 是 棵 二 又 树 《〈 即 每 个 节点 有 两 个 子 节点 )。 这 棵 树 的 第 1 层 具 有 2 个 节点 ， 

分 别 对 应 于 最 外 层 调用 所 制造 的 两 个 递归 调用 ， 一 个 作用 于 输入 数组 的 左 半 部 
分 ， 另 一 个 作用 于 输入 数组 的 右 半 部 分 。 第 1 层 的 两 个 递归 调用 各 自 又 制造 两 个 
递归 调用 ， 分 别 对 原始 输入 数组 的 某 四 分 之 一 部 分 进行 操作 。 这 个 过 程 继续 进行 ， 
最 终 到 达 递 归 的 底部 ， 即 它们 所 处 理 的 子 数组 的 长 度 为 1 或 0《〈 基 本 条 件 )。 


















































































































































小 测验 1.1 
当 输 入 数组 的 长 度 为 n 时 ， 北 归 树 的 层 数 大 臻 有 多 少 层 ? 
(a) 常数 (与 n 无 关 ) 

















G 基于 某 些 原 因 ， 计 算 机 科学 家 一 般 把 树 看 成 是 向 下 生长 的 。 
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(b) log27 

(c) Vn 

(d) 7 

(关于 正确 答案 和 详细 解释 ， 参 见 第 1.5.4 节 ) 











这 棵 递归 树 提 出 了 一 种 特别 方便 的 方法 对 MergeSort 所 完成 的 工作 进行 逐 层 
计数 。 为 了 实现 这 个 思路 ， 我 们 需要 理解 两 样 东 西 : 首先 是 特定 的 第 7 层 递归 的 
所 有 子 问题 的 数量 ， 其 次 是 传递 给 这 些 子 问 题 的 输入 数组 的 长 度 。 























小 测验 1.2 


什么 是 模式 ?在 下 面 的 句子 空白 处 填 上 正确 的 答案 : 在 递归 树 的 第 j 层 (j=0、 


1、2.…… )， 共 有 ( ) 个 子 问题 ， 它 们 分 别 对 一 个 长 度 为 ( ) 的 子 
数组 进行 操作 。 


(a) 分 别 是 2 和 2 

(b) 分 别 是 WwW2 和 /2 

(c) 分 别 是 2 和 /2 

(d) 分 别 是 WX2 和 2 

(关于 正确 答案 及 详细 解释 ， 参见 第 1.5.4 节 ) 






































现在 我 们 使 用 这 个 模式 对 MergeSort 所 执行 的 操作 进行 总 结 。 我们 逐 层 进行 
处 理 ， 先 固定 到 该 递归 树 的 第 7 层 。 第 /7 层 递归 调用 一 共 完 成 多 少 工作 呢 〈 不 包 
括 它 们 的 下 层 递归 调用 所 执行 的 工作 ) ? 通过 对 MergeSort 的 代码 进行 检查 ,我 
们 可 以 发 现 它 只 完成 3 项 工作 : 执行 两 个 递归 调用 ， 并 对 它们 返回 的 结果 调用 
Merge 子 程序 。 因 此 ， 忽 略 了 下 层 的 递归 调用 所 完成 的 工作 之 后 ， 第 7 层 的 子 程 
序 所 完成 的 工作 实际 上 就 只 有 Merge 所 完成 的 工作 。 


从 辅助 结论 1.1 中 ， 我 们 已 经 知道 Merge 最 多 执行 64 个 操作 ， 其 中 4 是 该 
子 程序 的 输入 数组 的 长 度 。 

概括 上 面 这 些 信息 , 我 们 可 以 把 第 7 层 的 递归 调用 (不 包括 下 层 的 递归 调用 ) 
所 完成 的 工作 表达 为 : 
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下 








第 / 层 的 子 问题 数量 x 每 个 第 ) 层 子 问 题 完 成 的 工作 


=27 =6n/27/ 





根据 小 测验 1.2 的 答案 ,我 们 知道 第 1 项 等 于 XY， 每 个 子 问题 的 输入 长 度 是 
Te ot oe 
们 可 以 总 结 如 下 : 第 /递归 层 所 有 的 递归 调用 所 执行 的 操作 数量 最 多 不 超过 





















































Oa =6n。 
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引 人 注 目的 是 , 特定 的 第 j 层 所 完成 的 工作 居然 与 j 无 关 ! 也 就 是 说 ， 递 归 树 






































的 每 一 层 所 执行 的 操作 数 是 相同 的 。 这 就 为 两 个 竞争 因素 提供 了 完美 的 平衡 
子 问题 的 数量 在 每 一 层 都 扩大 一 倍 ， 但 子 问题 所 完成 的 工作 量 在 每 一 层 都 减 半 。 
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我 们 感 兴趣 的 是 递归 树 的 所 有 层次 所 执行 的 操作 数量 。 根据 小 测验 1.2 的 答 
案 ， 递归 树 一 共有 log n+1 层 (从 第 0 层 到 第 logsn 层 )。 由 于 每 一 层 的 操作 数 


| 


























量 上 界 是 6n， 我 们 可 以 把 全 部 操作 数量 界定 为 


层 数 x 每 层 的 工作 量 志 6nlog,n+6n 


=logy n+l 6n 


1.2 所 宣布 的 上 界 是 匹配 的 。Q.e.d.” 
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关于 基本 操作 


我 们 根据 算法 所 执行 的 “基本 操作 ”的 数量 来 衡量 像 MergeSort 这 样 的 
算法 的 运行 时 间 。 直觉 上 看 , 一 个 基本 操作 执行 一 个 单一 的 任务 ( 例如 加 法 、 
比较 或 复制 )， 并 且 只 涉及 少数 的 几 个 简单 变量 (例如 32 位 整数 ”) ” 

: 在 一 些 高 级 编程 语言 中 ， 一 行 代码 的 背后 可 能 包含 大 量 的 基本 
操作 。 es 一 行 访问 一 个 很 长 的 数组 的 每 个 元 素 的 代码 所 包含 的 基本 操 
作 的 数量 是 与 该 数组 的 长 度 成 正比 的 。 














(D “Q.e.d.” 是 quod erat demonstrandum 的 缩写 ， 表 示 “ 证 明 完 毕 ”。 在 数学 著作 中 ， 它 出 现在 证 明 过 不 




















的 最 后 ， 表 示 证 明 已 经 完成 。 
@ 这 个 32 位 并 不 表示 整数 的 数字 个 数 ， 而 是 它 的 底层 实现 采用 32 个 二 进 制 位 。 译 者 注 
@ 我 们 可 以 给 出 更 精确 的 定义 ， 但 是 并 没有 必要 。 
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1.5.4 小 测验 1.1~1.2 的 答案 


小 测验 1.1 的 答案 


正确 答案 : (b)。 正 确 答案 为 logzz。 原 因 是 递归 每 深入 一 层 ， 输 入 数组 的 长 
度 缩小 一 半 。 如 果 第 0 层 的 输入 长 度 是 m， 第 1 层 的 递归 调用 是 对 长 度 为 w2 的 
数组 进行 操作 ， 第 2 层 的 递归 调用 是 对 长 度 为 w4 的 数组 进行 操作 ， 接 下 来 以 此 
类 推 。 当 满足 基本 条 件 即 输入 数组 的 长 度 不 大 于 1 时 , 递归 就 到 达 了 底部 ,不 会 
再 产生 新 的 递归 调用 。 那 么 ,一 共 需 要 多 少 层 的 递归 呢 ? 它 就 是 把 n 不 断 除 以 2 
最 终 得 到 不 大 于 1 的 结果 时 所 执行 的 除法 次 数 。 由 于 n 是 2 的 整数 次 方 , 所 以 这 
个 层 数 正好 就 是 log n (如 果 没 有 nn 是 2 的 整数 次 方 这 个 先决 条 件 ， 就 是 logs n 
向 上 取 最 接近 的 整数 )。 

小 测验 1.2 的 答案 

正确 答案 : 〈e)。 正 确 答案 是 在 第 7 层 递归 中 共有 2 个 子 问题 。 首 先 观察 第 
0 层 ， 它 一 共 只 有 1 个 递归 调用 。 第 1 层 一 共有 2 个 递归 调用 。 由 于 MergeSort 
调用 它 自 身 2 次 , 所 以 每 一 层 的 递归 调用 的 数量 是 前 一 层 的 两 倍 。 这 种 连续 的 倍 
增 意 味 着 在 递归 树 的 第 7 层 共 有 2 个 子 问 题 。 类 似 ， 由 于 每 个 递归 调用 所 接受 的 
输入 数组 的 长 度 只 有 前 一 层 的 一 半 ， 因 此 在 经 历 了 j 层 递归 之 后 ,输入 长 度 已 经 
缩减 为 n/2。 或 者 我 们 可 以 换 另 一 种 论证 方式 ， 我 们 已 经 知道 第 j 层 共有 2 个子 
问题 ， 原 始 输入 数组 (长 度 为 n) 被 均匀 地 划分 给 这 些 子 问题 ， 因 此 每 个 子 问题 
所 处 理 的 正好 是 长 度 为 w2 的 输入 数组 。 
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完成 了 第 一 个 算法 分 析 〈 和 定理 1.2 的 MergeSort) 之 后 ， 现 在 是 时 候 回 过 头 
来 明确 与 运行 时 间 的 分 析 及 其 解析 有 关 的 3 个 假设 了 。 我 们 将 采用 这 3 个 假设 作 
为 合理 分 析 算 法 的 指导 原则 ， 并 用 它们 来 定义 “快速 算法 ”的 实际 含义 。 

这 些 原则 的 目标 是 确认 算法 分 析 的 最 佳 平 衡 点 ， 在 准确 性 和 易 用 性 之 间 实 
现 平衡 。 
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要 想 进行 准确 的 运行 时 间 分 析 ， 只 有 那些 最 简单 的 算法 才 有 可 能 。 在 更 多 
的 情况 下 ， 我 们 需要 妥协 。 另 一 方面 ， 我 们 并 不 想 在 倒 洗 澡 水 的 时 候 把 婴儿 一 
起 倒 掉 。 我 们 仍然 希望 自己 的 数学 分 析 能 够 预测 一 种 算法 在 实际 使 用 中 是 快速 
的 还 是 缓慢 的 。 一 旦 我 们 找到 了 正确 的 平衡 ， 就 可 以 为 数 十 种 基本 算法 提供 良 
好 的 运行 时 间 保 证 。 这 些 保证 将 为 我 们 绘制 一 幅 精 确 的 图 像 ， 让 我 们 明白 哪 种 
算法 更 为 快速 。 


1.6.1 第 1 个 原则 : 最 坏 情况 分 析 


对 于 每 个 长 度 为 n 的 输入 数组 ， 定 理 1.2 中 的 运行 时 间 上 界 logz n+ 6n 都 是 
适用 的 , 不 管 数组 的 内 容 是 什么 。 对 于 输入 数组 ， 除 了 它 的 长 度 n 之 外 ， 我 们 3 
没有 对 它 作 其 他 任何 假设 假想 一 下 ， 如果 有 个 充满 恶 仿 的 人 , 他 的 生活 目标 就 
是 编造 一 个 恶意 的 输入 数组 ,其 目的 是 使 MergeSort 运行 得 尽 可 能 地 缓慢 ,但 log 
n+ 67 这 个 上 界 仍然 可 以 被 满足 。 这 种 类 型 的 分 析 称 为 最 坏 情况 分 析 ， 因 为 它 给 
出 了 一 个 运行 时 间 上 界 。 即 使 遇 到 “最 坏 的 ”输入 ， 这 个 上 界 仍然 是 有 效 的 。 
在 MergeSort 的 分 析 中 考虑 最 坏 情况 是 再 自然 不 过 的 事情 , 除 此 之 外 我 们 还 
可 以 考虑 什么 呢 ? 另 一 种 方法 是 “平均 情况 分 析 ”， 它 对 一 种 算法 的 平均 运行 时 
间 进 行 分 析 , 它 需要 对 不 同 输入 的 相对 频率 作出 一 些 假设 。 例 如 , 在 排序 程序 中 
我 们 可 以 假设 所 有 的 输入 数组 都 是 相差 不 大 的 , 这 样 就 可 以 研究 不 同 排序 算法 的 
平均 运行 时 间 了 。 还 有 一 种 蔡 代 方法 是 只 观察 一 种 算法 在 一 个 较 小 的 “基准 实例 ” 
集合 上 的 性 能 ， 这 些 实例 被 认为 是 具有 代表 性 的 ， 可 以 代表 “典型 的 ”或 “现实 
世界 的 ”输入 。 
了 解 了 问题 的 领域 知识 并 理解 哪些 输入 更 具 代 表 性 之 后 ， 平 均 情 况 分 析 和 




















































































































































































































































































































































































































































































































































































































基准 实例 分 析 都 是 非常 实用 的 。 最 坏 情况 分 析 并 不 需要 考虑 输入 ， 它 更 适用 于 
通用 目的 的 子 程序 ， 其 设计 目标 就 是 范围 很 广 的 应 用 领域 。 为 了 使 算法 的 适用 
性 更 广 ， 它 们 更 专注 于 通用 目的 的 子 程序 ， 因 此 一 般 使 用 最 坏 情况 来 判断 算法 
的 性 能 。 









































最 坏 情况 分 析 还 有 一 个 额外 的 优点 。 相 比 其 他 分 析 , 它 通 常 更 容易 用 数学 方 
法 实现 。 这 也 是 我 们 的 MergeSort 分 析 很 自然 地 采用 最 坏 情况 分 析 的 原因 ， 即 使 
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我 们 根本 没有 专注 于 最 坏 情况 的 输入 。 
1.6.2 第 2 个 原则 : 全 局 分 析 


第 2 个 和 第 3 个 指导 原则 是 密切 相关 的 。 我 们 称 第 2 个 原则 为 全 局 分 析 ( 注 
意 ， 它 并 不 存在 标准 术语 )。 这 个 原则 表示 我 们 没 必 要 在 考虑 运行 时 间 上 界 时 过 
多 地 关心 较 小 的 常数 因子 或 低 阶 项 。 我 们 已 经 在 MergeSort 的 分 析 过 程 中 看 到 了 
这 种 思维 : 在 分 析 Merge 子 程序 的 运行 时 间 时 《辅助 结论 1.1)， 我 们 首先 证 明 
操作 数 的 上 限 是 4 +2( 其 中 《是 输出 数组 的 长 度 )， 然 后 采用 了 更 简化 的 上 限 
6 ， 尺 管 这 样 会 导致 常数 因子 比 实际 的 更 大 。 那 么 ， 为 什么 要 采用 这 种 粗放 的 
常量 因子 表示 方法 呢 ? 
便于 数学 处 理 。 进 行 大 局 分 析 的 第 一 个 理由 是 它 比 那些 需要 确定 精确 的 常数 
子 或 低 阶 项 的 方法 更 容易 进行 数学 处 理 。 这 个 论点 已 经 在 我 们 对 MergeSort 的 
运行 时 间 分 析 时 得 到 了 印证 。 
常数 因子 往往 依赖 于 环境 。 第 二 个 理由 并 不 是 那么 显而易见 , 但 它 是 非常 重 
要 的 。 在 我 们 用 来 描述 的 算法 (例如 MergeSort) 的 粒度 层 中 ， 我 们 很 容易 被 误 
导 从 而 过 于 重视 常数 因子 的 准确 性 。 例 如 ， 在 对 Merge 子 程序 进行 分 析 时 ， 对 
于 循环 的 每 次 迭代 所 执行 的 “基本 操作 ”的 数量 存在 歧义 “4 个 、5 个 ， 还 是 别 
的 数量 ? )， 对 同一 段 伪 码 的 不 同 解释 可 能 会 导致 不 同 的 常数 因子 。 当 伪 码 被 翻 
译 为 菜 种 特定 的 编程 语言 的 具体 实现 并 进一步 转换 为 机 器 代码 时 , 这 种 歧义 会 进 
一 步 加 深 。 常数 因子 不 可 避免 地 依赖 具体 所 使 用 的 编程 语言 、 特 定 的 实现 以 及 编 
译 器 和 处 理 器 的 细节 。 我 们 的 目的 是 把 注意 力 集中 在 那些 与 编程 语言 和 计算 机 体 
系 结构 的 细节 无 关 的 算法 属性 上 ， 并 且 这 些 属性 并 不 受到 运行 时 间 上 界 中 的 较 
小 常数 因子 的 变化 的 影响 。 
预测 能 力 的 损失 有 限 。 第 三 个 理由 也 是 我 们 决定 忽略 常数 因子 的 根本 原因 。 
读者 可 能 担心 忽略 常数 因子 会 导致 我 们 迷失 ， 误 以 为 自己 的 算法 很 快 ， 但 在 实际 
使 用 中 速度 却 要 慢 很 多 《或 者 反 过 来 误 以 为 很 慢 ， 实 际 上 速度 还 可 以 )。 我 可 以 告 
诉 读者 一 个 愉快 的 消息 ， 至 少 对 于 本 书 所 讨论 的 算法 ， 这 种 情况 是 不 会 发 生 的 ”。 
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Q 存在 一 个 可 能 的 例外 ， 即 第 6.3 节 所 讨论 的 确定 1 


Te 


生 线性 时 间 选 择 算法 。 
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即使 我 们 忽略 了 低 阶 项 
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n 增长 时 算法 的 运行 














最 多 执行 了 rr 个 操作 ， 考 虑 下 面 这 个 比较 ， 


90)， 3 是 个 更 小 的 表 


表达 式 。 因 此 ， 当 我 们 


是 高 度 精 确 
比较 快速 的 ， 反 过 来 也 是 如 出 
了 我 们 真正 需要 的 东西 : 关 寺 























和 常数 因子 , 我 们 所 进行 的 数学 分 析 的 定性 预测 能 力 仍 然 























。 因 此 ， 虽 然 











的 。 当 算法 分 析 告 诉 我 们 一 种 算法 速度 较 快 时 , 它 在 实际 使 
全 局 分 析 忽 略 了 一 些 信息 ， 但 它 保留 
































第 三 个 也 是 最 后 



































后 ,我 们 就 可 以 自豪 地 宣 

















的 更 简 











单 排序 算法 《〈 例 
举 一 个 具体 的 例子 

















在 图 














有 个 前 提 ， 就 是 它 所 处 理 的 数据 足够 大 量 。 
大 量 数据 而 不 是 少量 数据 
法 真正 的 
间 完 成 一 个 长 度 为 1000 的 数组 











个 原则 是 使 用 渐进 局 
时 间 的 增长 率 上 。 在 我 们 解释 MergeSort 的 运行 时 间 上 界 6n 











哪些 算法 较 之 其 他 算法 速度 更 快 


第 3 个 原则 : 渐进 性 分 析 




















j 中 也 是 























的 指导 方针 ”。 





Et 分析， 把 注意 力 集中 在 当 输入 长 度 





























+ 6n( 定 理 1.2) 时 , 很 显然 可 以 看 到 运行 时 间 对 更 大 输入 长 度 的 倾 射 。 然 
布 MergeSort 比 那些 运行 时 间 与 输入 长 度 的 平方 呈正 比 
如 InsertionSort) 要 优越 很 多 。 但 这 个 结论 正确 吗 ? 














， 假 设 有 一 种 算法 , 它 对 一 个 长 度 为 n 的 数组 进行 排序 时 





6nlog,n+6n 
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2 
VS. —n 


2 


1.6 (a) 中 观察 这 两 个 函数 的 表现 ,我 们 可 以 看 到 当 n 较 小 时 (不 大 于 
达 式 ， 但 是 当 n 较 大 时 ，6n logs n + 6n 就 是 那个 更 小 的 

















我 们 为 什么 更 关注 










































































表示 MergeSort 比 更 简单 的 排序 算法 速度 更 快 时 ， 实 际 上 








尼 ? 因为 大 量 数据 才 是 优秀 算 
武之 地 。 我 们 可 以 想到 的 几乎 所 有 排序 方法 都 可 以 在 现代 计算 机 上 有 瞬 























的 排序 ， 此 时 根本 不 需要 学 习 什 么 分 治 算法 。 








由 于 计算 机 过 度 肯 定 会 变 得 越 来 越 快 ， 读 者 可 能 会 疑惑 所 有 的 计算 问题 最 终 
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© 





但 是 ， 了 解 相 关 的 常数 因子 














的 版 本 中 ， 当 输入 数组 
(因为 它 的 常数 因子 更 小 ) 
渐进 性 这 个 翻译 并 不 直观 ， 
























































的 长 度 较 小 时 《例如 
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只 有 7 个 元 素 )， 它 前 























bb 是 非常 有 益 的 。 例如， 在 许多 程序 库 所 提供 的 一 个 MergeSort 高 度 优化 
it 从 MergeSort 切换 为 InsertionSort 




















是 犹 瑰 很 久 才 决定 使 

















而 变化 的 速度 。 一 一 译 者 注 

















的 。 它 表示 算 





的 运行 时 间 随 着 输入 长 度 的 变化 
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算法 分 析 的 指导 原则 




















是 否 都 会 变 得 很 容易 解决 。 事 实 上 , 计算 机 的 速度 越 快 , 渐进 性 分 析 也 就 越 重要 。 
计算 目标 总 是 随 着 计算 能 力 的 增长 而 不 断 扩 大 。 因 此 ， 随 着 时 间 的 变迁 ， 我 们 将 
会 考虑 越 来 越 庞大 的 问题 规模 。 随 着 输入 长 度 的 增加 ， 具 有 不 同 的 渐进 性 运行 时 
间 的 算法 之 间 的 性 能 差距 只 会 变 得 更 大 。 例 如 ， 图 16 (b) 显示 了 当 了 ”的 值 较 大 
(但 仍然 不 算 特 别 巨大 ) 时 ， 函数 6n log n+6n 和 了 之 间 的 差别 。 当 n=1500 时 ， 

































































它们 之 间 的 差异 大 致 达 到 10 倍 。 如 果 我 们 把 的 值 再 扩大 10 倍 、100 倍 甚至 1000 














省 ， 达 到 非常 大 的 问题 规模 ， 这 两 个 函数 之 间 的 性 能 差别 会 变 得 更 加 


12000 


10000 上 





巨大 。 
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—— An=6nlogn+en || 
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—— fn)=m/2 
10 上 —— fn)=6n log n+6n|] 









































8000 上 区 
S 6000| Ee 
4000| i 
2000 上 本 
= 500 1000 1500 
(a) n 的 值 较 小 (b) n 的 值 中 等 
图 1.6。 当 六 增长 时 ， 函 数 之 的 增长 速度 要 比 6n logs n+ 6n 更 快 。(b) 中 的 x 轴 和 J 轴 的 刻 








度 分 别 是 〈a) 中 对 应 刻度 的 10 倍 和 100 倍 




















我 们 可 以 换 种 不 同 的 思路 来 考虑 渐进 性 分 析 ， 假设 时 间 预 算是 固定 的 〈 例 
如 一 小 时 或 一 天 )， 那 么 可 解决 的 问题 大 小 是 如 何 随 着 计算 能 力 的 增加 而 扩大 
呢 ? 如 果 一 种 算法 的 运行 时 间 与 输入 长 度 成 正比 ， 当 计算 能 力 扩 大 为 原先 的 4 
倍 后 ， 相 同时 间 内 可 以 解决 的 问题 规模 就 是 原先 的 4 倍 。 如 果 一 种 算法 的 运行 
时 间 与 输入 长 度 的 平方 成 正比 ， 那 么 相同 时 间 内 可 以 解决 的 问题 规模 就 只 有 原 
先 的 2 倍 。 


1.6.4 什么 是 “快速 ” 算 ; 


我 们 的 3 个 指导 原则 提供 了 “快速 算法 ”的 定义 ， 有 具体 如 下 。 















































“快速 算法 ”就 是 指 算 法 的 最 坏 情 况 运行 时 间 随 着 输入 长 度 的 增加 
而 较 慢 增长 。 


对 于 第 一 个 指导 原则 ， 我 们 想 要 保证 运行 时 间 并 不 需要 任何 领域 知识 为 前 
提 , 这 也 是 我 们 把 注意 力 集中 在 算法 的 最 坏 情 况 运行 时 间 的 原因 。 第 二 个 和 第 三 
个 指导 原则 表示 常数 因子 往往 依赖 于 编程 语言 和 计算 机 , 并 且 我 们 感 兴趣 的 是 大 
型 的 问题 ， 这 是 我 们 把 注意 力 集中 在 算法 的 运行 时 间 增 长 率 的 原因 。 
法 的 运行 时 间 “ 较 慢 增长 ”是 什么 意思 呢 ? 对 于 我 们 将 要 讨论 的 几乎 所 有 
问题 ， 至 高 目标 就 是 线性 时 间 算 法 ， 即 算法 的 运行 时 间 与 输入 长 度 呈 正比 。 线 性 
时 间 甚 至 优 于 MergeSort 的 运行 时 间 上 界 , 后 者 是 与 n logn 成 正比 , 因此 是 一 种 
温和 的 超 线性 。 我 们 将 会 讨论 某 些 问题 的 线性 时 间 算 法 ， 但 不 会 涵盖 所 有 问题 。 
在 任何 情况 下 ， 它 是 我 们 可 以 企及 的 最 高 目标 。 



















































































































































































































































































无 代价 的 基本 算法 


我 们 可 以 把 具有 线性 或 近 线 性 运行 时 间 的 算法 看 成 是 可 以 在 本 质 上 
“无 代价 ”使 用 的 基本 算法 ， 因 为 它 所 消耗 的 计 工 数量 较 之 读 取 输 入 也 多 
不 了 多 少 。 排序 是 一 种 典型 的 无 代价 基本 算法 的 例子 , 我 们 还 会 学 习 一 些 


其 他 的 无 代价 基本 算法 。 如 果 有 一 种 基本 算法 能 够 以 令 人 炉 目 的 速度 解决 
问题 ， 为 什么 不 使 用 它 呢 ? 例如 ,我们 总 是 可 以 在 一 个 预 处 理 步骤 中 对 数 
据 进行 排序 ， 尽 管 当 时 并 不 清楚 这 种 排序 是 否 真正 有 用 。《 算 法 详解 》 系 
列 的 目标 之 一 就 是 在 读者 的 算法 工具 箱 中 存储 尽 可 能 多 的 无 代价 基本 算 
法 ， 以 让 读者 可 以 随时 愉快 地 使 用 它们 。 








1.7 ”本 章 要 点 


























。 算法 是 一 组 具有 良好 定义 的 规则 ， 用 于 解决 一 些 计 算 问 题 。 
。 我 们 在 小 学 时 学 习 的 两 个 n 位 整数 相 乘 算法 所 执行 的 基本 操作 的 数量 与 
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n 的 平方 成 正比 。 


巧 ， 






































1.8 习题 














Karatsuba 乘法 是 一 种 用 于 整数 乘法 的 递归 算法 , 它 使 用 了 高 














它 比 一 种 更 简单 的 递归 算法 节省 了 一 个 递归 调用 。 





斯 提出 的 技 














。 在 ， 

















中 考 和 交流 算法 时 ， 经 验 丰 富 的 程序 员 和 计算 机 科学 家 使 








高 级 描述 














而 不 是 详细 的 实现 。 


MergeSort 算法 是 一 种 “分 治 ” 算 法 ， 它 



































递归 的 方法 对 每 个 部 分 进行 排序 ， 然 后 使 用 Merge 子 程序 把 
组 合 在 一 起 。 

















忽略 常数 
类 似 于 函数 logz7。 我 们 在 分 析 时 使 
的 工作 进行 方便 的 组 织 。 


。 由 于 函数 log: n 在 n 增长 时 增长 较 缓 ， 所 以 MergeSort 在 




















已 输入 数组 分 为 两 个 部 分 ， 采 用 


它们 的 结果 


因子 和 低 阶 项 ，MergeSort 对 个 元 素 所 执行 的 操作 数量 的 增长 























递归 树 对 所 有 的 递归 调用 所 完成 














般 情 况 下 比 






































EE 


比 。 
算法 分 析 的 3 个 指导 原则 分 别 是 ，(i) 最 坏 情 况 分 析 ， 这 是 为 了 提高 算法 











更 简单 的 排序 算法 速度 更 快 ， 后 者 的 运行 时 间 与 输入 长 度 的 平方 成 正 
































对 于 较 大 的 mw， 这 种 算法 的 性 能 提高 是 非常 明显 的 。 





















































的 通用 性 , 不 需要 对 输入 预 设 条 件 ，(ii) 全 局 分 析 ， 它 通过 忽略 常数 因子 


和 低 阶 项 实现 预测 能 力 和 数学 上 的 可 实现 特 


析 ， 






































FE 之 间 的 平衡 ，Gii) 渐进 性 分 








它 倾向 于 大 量 输 入 时 的 算法 性 能 ， 这 也 是 真正 需要 精妙 算法 的 场合 。 














“快速 算法 ”是 指 算法 的 最 坏 情况 运行 时 间 随 着 输入 长 度 的 
慢 地 增长。 
“无 代价 基本 算法 ”是 指 算法 具有 线性 或 近 线 性 运行 时 间 ， 





























所 需要 的 时 间 多 不 了 多 少 。 


问题 1. 


1 假设 我 们 对 下 面 这 个 输入 数组 运行 MergeSort: 


增长 而 较 组 





比 读 取 输 入 
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我 们 把 目光 定位 到 最 外 层 的 两 个 递归 调用 完成 之 后 ， 但 在 最 后 的 Merge 步 
又 执行 之 前 。 考 虑 把 这 两 个 递归 调用 所 返回 的 包含 5 个 元 素 的 输出 数组 连 在 一 起 
形成 一 个 包含 10 个 元 素数 组 ， 它 的 第 7 个 数 是 什么 ? 

问题 1.2 ”考虑 对 MergeSort 算法 进行 下 面 的 修改 : 把 输入 数组 分 为 3 个 部 
分 (而 不 是 分 成 两 半 )， 采 用 递归 的 方式 对 每 个 部 分 进行 排序 ， 最 终 使 用 一 个 对 
3 个 数组 进行 操作 的 Merge 子 程序 对 结果 进行 组 合 。 这 种 算法 作为 输入 数组 的 长 
度 n 的 函数 ， 它 的 运行 时 间 是 什么 呢 ? 读 者 可 以 忽略 常数 因子 和 低 阶 项 。 【提示 : 
在 实现 Merge 子 程序 时 仍然 可 以 保证 操作 数量 与 输入 数组 的 长 度 呈 正比 。】 

(Ca) n 














































































































(b) nlogn 
(Cec) n(logn) 
(d) nlogn 


问题 1.3 ”假设 有 个 已 经 排序 的 数组 ， 每 个 数组 包含 n 个 元 素 ， 我 们 需要 
把 它们 合并 为 一 个 包含 kn 个 元 素 的 数组 。 一 种 方法 是 反复 使 用 第 1.4.5 节 的 
Merge 子 程序 ， 首 先 合并 前 两 个 数组 ， 接 着 把 合并 后 的 数组 与 第 三 个 数组 合并 ， 
然后 再 与 第 四 个 数组 合并 ， 接 下 来 依次 类 推 , 直到 合并 了 第 个 输入 数组 。 这 种 
连续 的 归并 算法 (作为 k 和 n 的 函数 ) 的 运行 时 间 是 什么 呢 ?” 忽 略 常数 因子 和 低 
阶 项 。 










































































(a) nlogk 
(b) nk 
(c) nklogk 
(d) nklogn 
Ce) np 


(f) nk 


yy 1.8 习题 31 














问题 1.4 再 次 考虑 把 个 已 经 排序 的 数组 归并 为 一 个 已 经 排序 的 长 度 为 kn 
的 数组 这 个 问题 。 这 次 我 们 所 使 用 的 算法 是 把 个 数组 分 为 /2 对 数组 ， 然 后 使 
] Merge 子 程序 合并 每 对 数组 ， 这 样 就 生成 了 12 个 已 经 排序 的 长 度 为 27 的 数 
朋 。 这 个 算法 重复 这 个 过 程 , 直到 最 后 只 剩 下 一 个 长 度 为 kn 的 已 经 排序 的 数组 。 
这 个 过 程 ( 作 为 k 和 n 的 函数 ) 的 运行 时 间 是 什么 ? 忽略 常数 因子 和 低 阶 项 。 



















































































ANS 

















(a) nlogk 
(b) nk 
(c) nklogk 
(d) nklogn 
Ce) nk 
(f) mk 


挑战 题 

问题 1.5 ”假设 有 一 个 包含 个 不 同 的 数 的 未 排序 数组 ， 其 中 n 是 2 的 整数 
次 方 。 提供 一 种 算法 ,确认 数组 中 第 二 大 的 数 ， 最 多 只 能 使 用 n+ log2n -2 次 比 
较 . 【提示 在 找到 最 大 数 之 后 遗留 了 什么 信息 ? 】 
编程 题 


问题 1.6 用 自己 所 擅长 的 语言 实现 Karatsuba 整数 相 乘 算法 2?。 为 了 充分 利 
这 个 问题 , 在 读者 的 程序 中 , 乘法 运算 符 只 有 出 现在 一 对 个 位 整数 之 间 时 才 会 
调用 该 语言 的 乘法 运算 符 。 

作为 一 个 具体 的 挑战 ， 下 面 这 两 个 64 位 整数 相 乘 的 乘积 是 什么 ? 2 


3141592653589793238462643383279502884197169399375105820974944592 























































































































2718281828459045235360287471352662497757247093699959574966967627 














@ 深入 ! 
@ 如 果 i 
的 讨论 


落 如 果 每 个 整数 的 位 数 是 2 的 整数 次 方 ， 事 情 会 不 会 变 得 更 加 简单 ? 
者 需要 获得 帮助 , 或 者 想 与 其 他 读者 的 作业 进行 比较 , 可 以 访问 www.algorithmsilluminated.org 
区 






































下 记 




















大 人 
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渐进 


-一 


2 草 


© 


本 章 所 讨论 的 数学 形式 体系 涵盖 


性 表示 法 








了 算法 分 析 的 指导 原 




















dl 


找 一 种 对 算法 进行 衡量 的 最 有 
因子 和 低 阶 项 ， 把 注意 力 集 
长 的 。 这 项 任务 是 通过 大 O 表示 法 
个 严肃 的 程序 员 和 六 









































2.1 

















在 讨论 渐进 性 表示 法 的 数学 形式 


具有 足够 的 动力 , 对 它 将 要 实现 的 目 


一 


单 、 直 观 的 例子 。 
2.1.1 推动 力 


渐进 性 表示 法 提 作 

序 员 谈 到 他 的 某 段 代码 以 “的 大 O 

时 间 ” 运 行 时 ， 需 要 能 够 理解 其 中 的 
个 术 i 


在 使 用 范围 极为 

































































效 粒度 
在 算法 的 运行 时 间 是 ; 


| 算 机 科学 家 都 应 该 掌握 这 


标 具 有 3 











原则 (1.6 节 ), 其 目的 是 














。 我 们 希望 忽略 不 


重要 的 细节 


例如 常数 














节 ， 














人 人 
Dn 














(包括 它 的 近 科 
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要 目 





体系 之 前 , 首 9 


Ll 
号 























上 了 讨论 算法 的 设计 与 分 析 的 基本 术语 。 当 读者 听 到 某 个 程 


时 间 ” 运 行 而 另 一 自 
ce 


样 随 着 输入 长 度 的 ] 
表示 法 ) 的 形式 完成 的 ， 每 


上 要 保证 读者 对 学 习 ] 
烈 的 感觉 ,3 


泗 长 而 增 





个 主 





这 
过 二 








省 且 已 经 看 到 


Ce 


























尺码 以 “n 平方 的 大 0 














广泛 ， 因 




















为 它 确定 了 对 多 


法 进行 衡量 的 “最 佳 有 


站 


Nar 

















YN 2.1 要 旨 


点 ”渐进 性 表示 法 是 足够 粗放 的 ， 它 忽略 了 所 有 我 们 想 要 忽略 的 细节 ， 包 括 那 
些 依赖 于 计算 机 体系 结构 、 具 体 选择 的 编程 语言 以 及 编译 器 等 方面 的 细节 。 另 































































































方面 , 它 又 足够 精确 ， 可 以 在 不 同 的 高 级 层次 对 解决 某 个 问题 的 不 同 算法 进行 实 


































































































数 相 乘 算法 和 较 差 的 整数 相 乘 算 法 等 。 
2.1.2 ”高 级 思维 


如 果 询 问 有 了 














的 比较 , 尤其 是 在 巨大 输入 的 情况 下 〈 输 入 的 规模 越 大 ,就 越 需 要 精妙 的 算法 )。 
网 如 ,渐进 性 表示 法 可 以 帮助 区 分 较 好 的 排序 算法 和 较 差 的 排序 算法 、 较 好 的 整 











[ 作 经 验 的 程序 员 , 让 他 解释 渐 ; 





类 似 下 面 的 说 法 : 





性 表示 法 的 要 点 , 他 可 能 会 有 




















一 句 话 概括 渐进 性 表示 法 
忽略 常数 因子 和 氏 阶 项 


A 
过 于 依赖 系统 在 输入 的 规模 很 大 时 无 关 紧要 








我 们 将 会 看 到 , 除了 上 面 的 概括 之 外 ， 渐 ; 



































10 年 之 后 ， 读 者 还 能 记得 的 就 只 有 上 面 这 个 概括 ， 




















性 表示 法 还 有 更 多 的 含义 , 但 











计 























它们 总 结 得 极为 精妙 。 
































在 分 析 算 法 的 运行 时 间 时 ,我 们 为 什么 要 忽略 像 常数 因子 和 低 阶 项 这 样 的 信 


息 呢 ? 根据 定义 ， 











当 我 们 把 注意 力 集中 在 大 规模 的 输入 时 , 低 阶 项 的 作用 几乎 可 





以 忽略 ， 而 大 规模 的 输入 才 是 需要 精妙 算法 的 时 候 。 同 时 ， 常 数 因子 一 般 高 度 依 














赖 于 环境 的 细节 。 















































算 机 体系 结构 或 编译 器 ， 那 么 使 用 不 在 意 常数 因 


例如 ， 记 得 当 我 们 分 析 1.4 节 的 MergeSort 












































如 果 我 们 在 分 析 算 法 时 并 不 想 固 定 于 某 种 特定 的 编程 语言 、 计 
子 的 形式 体系 就 是 非常 合理 的 。 
村， 我 们 给 出 了 它 的 运行 时 间 上 






































限 是 6n log2 n + 6n 个 基本 操作 ， 其 中 表示 输入 数组 的 长 度 。 这 里 的 低 阶 项 是 
6n， 由 于 nn 的 增长 速度 低 于 n log n， 因 此 它 在 渐进 性 表示 法 中 就 被 忽略 。 前 面 
的 常数 因子 6 也 被 忽略 ， 这 样 就 产生 了 一 个 更 简单 的 表达 式 n log n。 然 后 ,我 们 
就 可 以 声称 MergeSort 的 运行 时 间 是 “nlog n 的 大 O 时 间 ” 写作 O(n log n), 或 






































者 说 MergeSort 是 一 种 “O(n log n) 时 间 的 算法 ””。 从 直觉 上 说 ， 对 于 一 个 函数 








QD 在 忽略 常数 因子 时 


























， 我 们 甚至 不 需要 指定 对 数 的 底 〈 不 同 对 数 函数 的 区 别 仅 在 于 常数 因子 )。 关 于 这 
方面 的 更 多 讨论 ， 详 见 4.2.2 节 。 
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fn)，O(0tn)) 就 是 忽略 了 常数 因 
居 算 法 的 渐进 性 
间 算 法 、 
要 说 明 一 点 , 我 3 
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渐进 性 





表示 法 任 




















最 坏 ; 
平方 (O(n”)) 时 间 算 法 、 








i 


























ed 对 解决 同一 


甚至 包括 低 阶 项 。 




















的 工具 , 它 能 够 
大 时 。 


当 我 们 确定 了 某 个 问题 的 最 佳 高 级 算法 之 后 , 可 能 还 想 进一步 优化 常数 
en 那么 


不 管 企 











妹子 和 低 阶 项 之 后 剩余 的 内 容 ”。 这 
青 况 运行 时 间 对 它们 进行 分 组 : 
常数 〈O()) 时 间 算 法 
因子 是 完全 无 关 紧 要 的 。 只 
行 比较 时 , 渐进 性 表示 法 
更 佳 , 尤其 





没有 断定 在 算法 设计 中 常数 
个 问题 的 一 些 本 质 不 同 的 方法 
帮助 我 们 理解 哪 种 算法 的 性 能 

















位 
等 。 





















































怎样 ， 





就 要 想 尽 一 切 办 法 使 它 尽 可 能 


2.1.3 4 个 例子 


以 前 对 大 O 表示 法 和 
果 读 者 以 前 从 来 没有 接触 过 
个 问题 是 在 一 个 数组 中 搜 
截 了 当 的 算法 , 它 对 





高 效 。 


种 大 O 表示 法 村 
线性 (O(n))、O(n log nn) 时 




















不 








下 
古 


当 输 入 的 





因子 ， 








在 本 节 的 最 后 ， 我 们 讨论 4 个 非常 简单 的 例子 。 这 些 例 子 极其 简单 ， 如 果 读者 








a 








第 一 








整数 tf。 





输入 : 
输出 : 4 是 否 


for i := 1 
if A[i] 
































包含 nn 个 整数 的 数组 4、 


否 包 含 t。 


CA 


return 





mn 


return FALSE 


卫 


n do 
t th 


TRUE 








索 一 个 特定 的 整数 t。 


寸 这 些 概念 ， 








4 有 概念 ， a se 但 是 如 
这 些 简 单 的 例子 就 是 非常 适合 的 入 门 材料 。 


























搜索 一 个 数组 


en 


BR 





这 


整数 t。 


我 们 首先 分 析 一 种 最 直 
数组 进行 线性 扫描 ， 检 查 每 个 元 素 ,观察 它 是 否 为 待 查 找 的 























这 段 代码 按 顺 序 检 查 每 个 数组 项 。 如 果 它 找到 了 整数 t 就 返 





@ 例如 ，10%.n 从 理论 上 说 也 是 O(n)。 在 





本 


已 











吕 





FP， 我 们 只 研究 忽略 了 相对 较 小 的 常数 





回 TRUE， 如 果 





大 | 











子 的 运行 时 间 上 限 。 








到 数组 的 末 





尾 仍 然 没 有 找到 t+ 就 返 臣 
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FALSE。 











我 们 还 没有 正式 定义 大 O 表 























观 讨 论 ， 读 者 应 该 能 够 猜 到 上 面 这 











段 代 码 的 渐进 性 运行 时 间 。 











是 什么 ? 

(a) O() 

(b) O(logn) 

(c) Omn) 

(d) Ol’) 

(关于 正确 答案 和 详细 解释 ， 





上 面 这 段 线性 搜索 一 个 数组 的 代码 的 渐进 性 运行 


小 测验 2.1 


时 间 〈 数 组 长 度 为 姥 的 函数 ) 


参见 第 2.1.4 节 ) 


示 法 的 含义 ， 但 是 根据 到 目前 为 止 所 进行 的 直 














最 后 3 个 例子 涉及 对 两 个 循环 进行 组 合 的 不 同方 式 。 首先 , 我 们 考虑 一 个 循 
环 出 现在 另 一 个 循环 的 后 面 。 假设 有 两 个 长 度 均 为 n 的 整数 数组 4 和 B, 我 们 想 






































要 知道 整数 t 是 否 出 现在 其 中 一 个 数组 中 。 我 们 再 次 考虑 最 简单 直接 的 























法 ,我 











们 只 搜索 数组 4， 如 果 无 法 在 数组 4 中 找到 t 就 接着 搜索 数组 B。 如 果 在 数组 号 


中 也 没有 找到 t， 


输入 : 长 度 均 为 n 的 数组 4 和 B、 


输出 : 数组 4 或 BB 是 否 和 包 


for i := 1 ton do 
if A[i] = 七 then 
return TRUE 
for i := 1 ton do 
if BI[i] = t 
return TRUE 
return FALSE 




















就 返回 FALSE。 


包 念 t。 





搜索 两 个 数组 


整数 t。 











么 ， 在 大 O 表示 法 中 ， 

















这 段 更 长 代码 的 运行 时 间 是 什么 呢 ? 
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小 测验 2.2 


上 面 这 段 搜索 两 个 数组 的 代码 的 渐进 性 运行 时 间 是 什么 (作为 数组 长 度 为 n 
的 函数 ) ? 


(a) O(1) 
(b) O(logn) 
(c) O(n) 
(d) O(n’) 


(关于 正确 答案 和 详细 解释 ， 参 见 第 2.1.4 节 ) 











接着 , 我 们 观察 一 个 更 为 有 趣 的 两 个 循环 嵌 套 (而 不 是 按 顺 序 出 现 ) 的 例子 。 
假设 我 们 想 要 检查 两 个 长 度 为 n 的 数组 是 否 包含 公共 数 , 最 简单 的 解决 方案 是 检 
查 所 有 的 可 能 性 。 也 就 是 说 ， 对 数组 4 的 每 个 索引 i 和 数组 B 的 每 个 索引 j， 我 
们 检查 4[ 可 和 8 四 是 否 为 同一 个 数 。 如 果 是 ， 我 们 就 返回 TRUE。 如 果 检 查 了 所 
有 的 可 能 性 之 后 仍然 没有 发 现 共同 的 数 ， 就 可 以 返回 FALSE。 





















































仿 查 公共 元 素 
输入 : 长 度 均 为 n 的 数组 4 和 B.。 
输出 : 数组 4 和 B 是 否 均 包含 同一 个 整数 . 


for i := 1 ton do 
for]j := 1 ton do 
if A[i] = B[j] then 
return TRUE 








return FALSE 














问题 仍然 是 一 样 的 : 在 大 0 表示 法 中 ， 这 段 代码 的 运行 时 间 是 什么 ? 


小 测验 2.3 


上 面 这 段 检查 是 否 存 在 公共 元 素 的 代码 的 渐进 性 运行 时 间 ( 数组 长 度 为 n) 是 
什么 ? 


(a) O(1) 
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(b) O(logn) 
(c) O(n) 
(d) O(n’) 
(关于 正确 答案 和 详细 解释 ， 参 见 第 2.1.4 节 ) 








最 后 一 个 例子 仍然 涉及 嵌 套 循环 ， 但 我 们 这 次 寻找 单个 数组 4 中 的 重复 元 
素 ， 而 不 是 在 两 个 不 同 的 数组 中 寻找 重复 元 素 。 下 面 是 我 们 将 要 分 析 的 代码 : 














检查 重复 项 
输入 : 包含 n 个 整数 的 数组 4。 
输出 : 4 是 否 包含 了 某 个 出 现 次 数 不 止 1 次 的 整数 。 
for i := 1 ton do 
for ] :=i+1l1ton do 
if A[i] = A[j] then 


pr 


return TRUE 











return FALSE 














这 段 代 码 和 前 一 段 代码 相 比 有 两 处 小 小 的 不 同 。 第 一 个 也 是 最 明显 的 区 别 是 
它 将 数组 4 的 第 i 个 元 素 与 数组 4 的 第 7 个 元 素 (而 不 是 另 一 个 数组 B 的 第 j 个 
元 素 ) 进行 比较 。 第 二 个 更 为 微妙 的 区 别 是 内 层 循 环 是 从 索引 i + 1 开始 而 不 是 
从 1 开始 ,为 什么 不 像 前 面 这 样 从 1 开始 ?因为 这 样 一 来 它 在 第 一 次 迭代 时 就 会 
返回 TRUE (因为 很 显然 4[1] = 4[1])， 而 不 管 该 数组 是 否 包含 重复 项 ! 通过 跳 
过 zz 和 /7 相同 的 所 有 从 代 就 可 以 修正 这 个 错误 ， 但 这 种 做 法 存在 浪费 : 数组 4 的 
每 对 元 素 4[ 加 和 4[ 有 9 将 会 被 比较 2 次 (一 次 是 当 i= 有 hh 且 j=k 时 , 另 一 次 是 当 i= 
KK 且 j= 有 hh 时 )， 而 上 面 的 代码 仅 将 它们 比较 1 次 。 


问题 仍然 是 一 样 的 ， 在 大 0 表示 法 中 ， 这 段 代码 的 运行 时 间 是 什么 ? 

















































































































小 测验 2.4 
a 0 性 运行 时 间 (作为 数组 长 度 n 
么 ? 
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(c) O(n 
(d) O(n 
(关于 正 





(a) O(1) 
(b) O(logn) 


) 
| 
确 答案 和 详细 解释 


参见 第 2.1.4 节 ) 








这 些 基 本 例子 应 该 能 够 为 读者 提供 


汉 


感受 。 


接着 ， 我 们 将 要 讨论 渐进 性 表示 法 的 数学 发 展 以 及 一 些 更 为 有 趣 的 





2.1.4 


小 测验 2.1 的 答案 


正确 答案 : 
性 关系 。 为 什么 会 这 样 ? 


包含 在 数 旨 
数组 中 时 ， 



































小 测验 2.1~ 2.4 的 答案 


























B 4 中? 如 果 是 ， 
这 个 算法 将 会 执 4 











环 迭 代 ) 3 











返 巨 





操作 (将 4 中) 与 1 进行 比较 ， 把 循环 索引 
示 某 个 与 元 无 关 的 数 ， 例 如 2 或 3。 在 上 国 
， 都 可 以 很 方便 





存在 争议 ， 


这 段 代码 在 循环 
定 值 是 什么 ， 它 个 





阶 项 之 后 ， 
O(n)。 








但 不 管 它 是 什么 




















它 在 数组 中 的 什 
了 一 次 不 成 功 的 ] 
FALSE。 人 











关于 大 O 


表示 法 的 定义 及 其 

















作用 也 





























(c)。 正 确 答案 是 O(n)， 相 当 于 这 个 算法 的 运行 


时 间 与 n 呈 线 











它 所 执行 的 准确 操作 数量 取决 于 输入 


目标 t 是 否 























么 位 置 ? 在 最 坏 情 
搜索 ， 扫 描 整 个 数组 














况 下 ， 当 t 不 在 
(经 过 n 次 循 




















EP 














的 代码 中 ， 
































地 在 大 A 
台 之 前 和 结束 之 后 也 执行 一 些 固定 数量 的 操作 ， 不 管 这 些 固 














执行 固定 数量 的 
这 里 的 “固定 ” 表 
个 固定 值 到 底 是 多 少 
其 忽略 。 类似 ， 


























] 都 是 将 被 大 O 表示 法 所 忽略 的 低 阶 项 。 忽略 了 常数 因子 和 








剩 下 的 操作 数量 上 界 就 是 nx 了 ， 因 此 这 段 代码 的 渐 i 





小 测验 2.2 的 答案 


正确 答案 : 〈c)。 正 胡 
行 了 不 成 功 的 搜 









































索 ) 所 执行 的 操作 数量 是 











答案 和 前 面 一 样 是 O(n)， 原 因 是 
前 一 段 代 码 的 两 倍 。 











氏 
性 运行 时 间 是 














它 在 最 坏 情况 下 〈 执 








我 们 首先 搜索 第 一 
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个 数组 ， 然 后 搜索 第 二 个 数组 。“2” 这 个 额外 因子 只 对 运行 时 间 上 界 的 前 导 常 数 
起 作用 ， 因 此 会 在 大 O 表示 法 中 被 忽略 。 因 此 ， 这 个 算法 和 前 一 段 代 码 一 样 ， 
是 一 种 具有 线性 时 间 的 算法 。 




































































小 测验 2.3 的 答案 





正确 答案 : 〈d)。 这 一 次 ， 正 确 答案 发 生 了 变化 。 对 于 这 段 代码 ， 运 行 时 间 
并 不 是 O(n)， 而 是 O(”)。(n 平方 的 大 O， 又 称 “ 平 方 时 间 算 法 ”) 因此 ， 使 用 
这 种 算法 时 ， 如 果 把 输入 数组 的 长 度 乘 以 10， 运 行 时 间 的 增长 倍数 将 达到 100 
(而 不 是 线性 时 间 算 法 的 倍数 10)。 

为 什么 这 段 代 码 会 产生 O(n ) 的 运行 时 间 呢 ?对 于 每 个 循环 沈 代 ( 也 就 是 对 
于 索引 i 和 j 的 每 种 选择 ), 这 段 代码 也 是 执行 固定 数量 的 操作 , 它 在 循环 之 外 也 
是 执行 固定 数量 的 操作 。 区 别 在 于 双重 循环 总 共有 rr 次 迭代 , 对 于 iE {1 2，…， 
n} 和 jE {1, 2, …, n} 的 每 个 选择 ， 都 有 一 次 对 应 的 循环 和 迭代。 在 第 一 个 例子 
中 ， 单 个 for 循环 只 进行 了 nn 次 迭代 。 在 第 二 个 例子 中 ， 由 于 第 一 个 for 循环 在 
第 二 个 for 循环 开始 之 前 便 已 经 结束 ， 所 以 总 共 只 有 2n 次 迭代 。 在 这 个 例子 中 ， 
对 于 外 层 for 循环 的 n 次 迭代 中 的 每 一 次 ， 都 要 执行 内 层 for 循环 的 款 次 迭代 。 
这 就 产生 了 总 共 nxn=n 次 迭代 。 


































































































































































































小 测验 2.4 的 答案 





正确 答案 :〈d)。 这 个 问题 的 答案 与 前 一 个 问题 相同 : O(n”)。 运 行 时 间 再 次 
与 双重 循环 的 迭代 数量 成 正比 (每 次 迭代 都 有 固定 的 操作 数量 )。 因 此 ， 这 里 一 
有 多 少 次 迭代 ? 答案 大 臻 是 /2。 一 种 估算 方式 是 注意 到 这 段 代 码 大 致 执行 前 
面 那 段 代码 的 一 半 工 作 〈 由 于 内 层 循 环 是 从 j=j+1 而 不 是 j= 1 开始 的 )， 男 一 
种 估算 方式 是 注意 到 { 1, 2，…, n} 中 不 同 索 引 对 的 子 集 {i, 让 都 只 执行 1 次 迭代 ， 


而 这 类 子 集 的 数量 FE 好 是 | 7] A 不 



























































































































































2 2 





中 多 的 读 法 是 “n 选择 2” 有 时 称 为 二 项 式 系 数 ， 参 见 小 测验 3.1 的 答案 。 
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2.2 大 OO 表示 法 





本 节 讨 论 大 O 表示 法 的 正式 定义 。 我 们 首先 给 出 普通 的 文本 定义 ， 然 后 以 
图 形 的 形式 对 它 进行 描绘 ， 最 后 再 给 出 它 的 数学 定义 。 


2.2.1 文本 定义 


大 O 表示 法 所 关注 的 是 在 正 整 数 n = 1; 2; … 上 定义 的 函数 T(n)。 对 于 我 们 
而 言 ，7T(n) 总 是 表示 某 个 算法 的 最 坏 情 况 运 行 时 间 的 上 界 ， 例 如 输入 长 度 为 n 的 
函数 。 对 于 一 些 “ 经 典 的 ”fn) 函 数 ， 例 如 n、n logn 或 ，T(n) = O(n)) 这 种 说 
法 表示 什么 意思 呢 ? 下 面 是 它 的 文本 定义 : 























































































































大 0 表示 法 (文本 定义 ) 
rm= O(ftn))， 当 且 仅 当 T(n) 的 最 终 上 界 是 ftn) 的 一 个 常数 积 ， 





2.2.2 图 形 定 义 






































图 2.1 提供 了 大 O 表示 法 定义 的 一 种 图 形 表现 形式 。 扎 轴 对 应 于 参数 mm， 了 
对 应 于 函数 的 值 。7(n) 是 与 实 线 对 应 的 函数 ， fn) 是 下 面 的 那 条 虚线 。7T(n) 的 上 
界 并 不 是 由 ftn) 决 定 的 ， 而 是 由 ftn) 乘 3 所 形成 的 上 面 那 条 虚线 所 决定 的 ， 当 zz 
的 值 足够 大 的 时 候 ， 超 过 no 这 个 分 界 点 之 后 ， 它 的 值 就 会 大 于 Tl(n)。 由 于 TCD 
实际 上 最 终 是 由 fn) 的 常数 积 确 定 上 界 的 ， 所 以 我 们 可 以 说 T(n)= O00n))。 
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2.1 当 Tln)= OGMn)) 时 的 图 形 。 常 数 c 满足 Km 的 “常数 倍 ” 常数 mm 满足 “最 终 ” 





2.2.3 ”数学 定义 























YN 2.2 大 O 表 示 法 








下 面 是 大 0 表示 法 的 数学 定义 ， 这 也 是 我 们 在 正式 的 证 明 中 应 该 使 用 的 























大 0 表示 法 ( 数学 版 本 ) 
对 于 所 有 的 n>no， 当 且 仅 当 存 在 正常 数 c 和 no， 使 


此 时 T(n) = O(n) 成 立 。 


Tln) 和 ce: fn) (2.1) 





这 也 是 对 2.2.1 节 的 文本 定义 的 直接 翻译 。 不 等 式 (2.1) 表示 T(n) 的 上 界 应 


该 由 fn) 的 一 个 乘积 所 确定 























(常数 c 指定 了 这 个 乘 数 )。 





“对 于 所 有 的 >zm” 表 示 这 个 不 等 式 只 需要 当 半 足够 大 时 《常数 no 指定 了 








\ 体 的 大 小 ) 最 终 能 够 成 立 


NN 











o 例如 ， 在 图 2.1 中 ， 常数 c 对 应 于 3， 而 no 对 应 于 





函数 T(n) 和 ce:ftn) 之 间 的 分 界 值 。 


博弈 分 析 视 角 。 如 果 想 























要 证 明 7T(n) =O(fn))， 例 如 要 证 明 一 种 算法 的 渐 立 














运行 时 间 与 输入 长 度 呈 线性 


E 关 系 ( 对 应 于 fn) =n), 我 们 的 任务 就 是 选择 常 




















c 和 no， 使 4 兰 mo 时 表达 式 〈2.1) 都 是 成 立 的。 我 们 可 以 从 博弈 分 析 的 角度 
考虑 这 个 问题 ， 把 它 看 成 是 自己 和 一 名 对 手 之 间 的 竞争 。 我 们 首先 动手 ， 必 
须 提 交 常 数 ec 和 no。 对手 接着 进行 回应 ， 可 以 选择 任 一 个 大 于 m 的 整数 n。 
如 果 不 等 式 〈2.1) 成 立 ， 我 们 就 取得 胜利 ; 如 果 相 反 的 不 等 式 T(n) > c:fn) 





成 立 ， 对 手 就 取得 胜利 。 
如 果 Tln) = O00tn))， 












































存在 常数 e 和 m， 使 表达 式 (2.1) 对 于 所 有 的 n 宇 

















10 都 成 立 ， 这 样 就 可 以 为 这 个 游戏 确立 获胜 策略 。 否 则 ， 不 管 我 们 怎么 选择 c 
和 no， 对 手 都 可 以 选择 一 个 足够 更 大 的 n 宇 no 使 这 个 不 等 式 不 成 立 ， 从 而 取 








得 胜利 。 


























41 


42 第 2 章 




















渐进 性 表示 法 上 





了 及 


发 
听 


当 我 们 表示 c 和 7 是 常数 时 ， 意 思 是 它们 并 不 依赖 于 1。 例 如 ， 在 图 
2.1 中 ，c 和 no 是 固定 的 数字 ( 像 3 或 1000 )， 这 样 我 们 就 可 以 考虑 当 了 7 
变 得 任意 大 时 (图 中 向 右 是 趋向 于 无 限 的 ) 不 等 式 (2.1 ) 的 情况 。 如 果 
我 们 在 一 个 所 谓 的 大 O 证 明 中 看 到 “ 取 no=n” 或 “ 取 c=log2n” 这 样 的 
说 法 ， 就 应 该 改 蓄 匈 辐 ， 从 一 开始 就 选择 与 nn 无 关 的 c 和 no 





2.3 ”两 个 基本 例子 





努力 弄 清楚 大 O 表示 法 的 正式 定义 之 后 ， 我 们 观察 两 个 例子 。 这 两 个 例子 


并 不 会 向 我 们 提供 新 的 知识 ， 而 是 作为 一 种 习 









































要 的 合理 性 检查 ， 验 证 大 O 表示 
法 在 忽略 了 常数 因子 和 低 阶 项 之 后 是 否 能 够 实现 它 的 预期 目标 。 它 们 还 可 以 作为 
“热身 运动 ” 











为 以 后 讨论 更 有 深度 的 例子 打下 基础 


lo 





2.3.1 大 阶 多 项 式 是 O(n 





我 们 的 第 一 个 正式 论断 是 如 果 7(n) 是 个 阶 数 为 的 多 项 式 ， 则 T(n) = O(n。 


命题 2.1 


口 


成 立 。 





人 是 而 





假设 


T(n) = an’ + td 




















命题 2.1 表示 在 多 项 式 的 大 O 表示 法 
的 最 高 阶 。 因 此 ， 大 0 表示 法 确 





证明: 为 了 证 明 这 个 命题 , 我 们 需要 使 用 大 O 表示 法 的 数学 定义 
。 为 了 满足 这 个 定义 ， 我 们 的 任务 是 找到 一 对 






































有 实 忽 略 了 常数 因子 和 低 阶 项 。 












































c 用 于 和 有 











Ph 大 兰 0 是 个 非 负 整 数 ，va 是 实数 〈 可 以 是 正 数 或 负数 )。 则 7(n) = O0x 


FP , 我们 需要 关注 的 是 出 现在 多 项 式 中 








FE 整数 c 和 no ( 均 
定常 数 积 nt:，no 用 于 表示 “足够 大 的 n”。 为 了 简单 同 




















时 又 不 失 神秘 , 我 们 先 假设 这 两 个 常量 的 值 : no 等 


对 值 之 和 ®。 


c=|ar|+…+ 








N 2.3 两 个 基本 例子 











al+lal 





等 于 1 并 且 c 等 于 所 有 系数 的 绝 




















这 两 个 数 都 与 无关。 现在 我 们 需要 证 明 选 择 这 两 个 常量 能 够 满足 定义 , 这 
意味 着 对 于 所 有 的 n 宇 n, =1， 都 有 7T(n) 三 cn*。 
为 了 验证 这 个 不 等 式 ， 取 一 个 任意 正 整数 n 宇 n, =1。 我 们 需要 7T(n) 的 上 界 

















序列 ， 累 计 产 生 c.n* 的 上 界 。 首 先 ， 我 介 
T(n) = arn’ + 


如 果 我 们 取 右 边 每 个 系数 w 的 绝对 值 ， 









































可 能 比 w 更 大 ， 由 于 n 是正 数 ， 





| 天 只 会 比 a'n' 更 大 。) 这 意味 着 : 





] 采 用 7T(n) 的 定义 : 
+ant+ao 


这 个 表达 式 只 会 变 得 更 大 。( |a,| 只 


























T(n) 乏 [lax |” 




















为 什么 这 个 步 又 很 实用 ? 既然 系数 是 


‘+|ailn 








5 n Sa n We a 











人 


Tn) la ln +tlaln+|a n=(a,|+…+|alt+ 














la 





FE 负 的 ,我 们 可 以 使 用 一 种 类 似 的 技巧 

















于 n 宇 1 CR 1 2 请 ， 
六 只 会 a'in' 更 大 。 这 意味 着 : 
|+laD):n’ 








对 于 每 个 之 n, =1 ， 这 个 不 等 式 都 是 成 立 的 ， 





我 们 应 该 怎样 选择 常数 c 和 no 呢 ? 














的 选择 ， 以 完成 证 明 过 程 。 我 们 将 在 2.5 











=C 


这 也 正 是 我 们 想 要 证 明 的 结 























通常 的 方法 是 对 它们 进行 逆向 工程 。 这 
个 过 程 包括 对 一 个 像 上 面 这 样 的 引申 表达 式 进行 检查 , 并 在 适当 的 时 候 确定 常数 


节 看 到 这 














2.3.2 大 阶 多 项 式 不 是 O(n!) 



































文 个 方法 的 一 些 例子 。 


我 们 的 第 二 个 例子 实际 上 并 不 能 算是 例子 : k 阶 多 项 式 是 00 为， 但 一 般 并 

















不 是 O0A)。 





QD 记 住 ,实数 x 的 绝对 值 K| 在 x 三 0 时 等 于 x， 在 x<0 时 等 于 -x。k| 总 是 非 负 的 。 
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第 2 章 渐进 性 表示 ; 








去 人 























命题 2.2 ”假设 上 过 1 是 个 正 整数 ， 并 定义 T(x) = 帮 ， 则 TU 并 不 是 OO。 


命题 2.2 表示 不 



































同 阶 的 多 项 式 的 大 O 表示 法 是 不 同 的 。( 如 果 这 个 结论 不 正 











确 ， 那 么 大 O 表示 法 的 定义 就 存在 错误 !) 





命题 ,2 的 证 明 9 














证 明 一 个 函数 并 不 是 另 一 个 函数 的 大 O 表示 法 的 最 好 方法 通 















































常 是 反 证 法 。 在 这 种 类 型 的 证 明 中 ， 我 们 先 假设 欲 证 结论 的 相反 结论 是 成 立 的 ， 并 
























































在 这 个 假设 的 基础 上 执行 一 系列 逻辑 正确 的 步骤 ， 最 终 得 出 一 个 明显 错误 的 结论 。 
这 种 自 相 矛盾 意味 着 这 个 假设 是 错误 的 ， 因 此 我 们 最 初 想 要 证 明 的 结论 是 正确 的 。 
































因此 ， 假 设 大 实际 上 是 O(n 站 )， 我们 接着 就 可 以 引申 出 一 个 悖 论 。 n= O(n 站 ) 


意味 着 什么 呢 ? 的 上 界 最 终 是 由 nn 的 一 个 常数 乘积 确定 的 。 也 就 是 说 ,存在 


















































正常 数 c 和 no， 对 于 所 有 的 nn 之 n, ， 都 存在 : 








由 于 n 是 正 数 ， 





大 大 一 1 
1 入 c:7 


我 们 可 以 从 不 等 式 的 两 边 消 去 性 ， 引 申 出 这 样 一 个 结论 : 




















对 于 所 有 的 n 宇 nn,， 都 存在 n 三 c。 这 个 不 等 式 断 言 常 量 c 比 每 个 正 整 数 都 要 大 ， 








这 明显 是 个 错误 的 命题 (可 以 取 个 简单 的 反例 ， 取 n 的 值 为 c+1 向 上 取 最 接近 
的 整数 )。 这 就 说 明 原先 的 假设 性 = O(n 门 ) 是 错误 的 ， 从 而 可 以 得 出 性 不 等 于 


OU 这 个 结论 。Q. 








到 目前 为 止 ， 大 


4 


























e.d. 


2.4 大 0 和 大 QO 表示 法 





























O 表示 法 是 讨论 算法 的 渐进 性 运行 时 间 最 重要 和 最 常用 的 概 

















念 。 另 外 还 有 两 个 与 














它 关 系 密切 的 表示 法 大 8 和 大 @ 表 示 法 值得 我 们 了 解 。 如 果 





大 O 可 以 类 比 为 “小 于 或 等 于 ( 乏 )” 那么 大 8 和 大 @ 表 示 法 分 别 可 以 类 比 为 “大 


| 























于 或 等 于 《〈 关 )” 和 “等 于 =)”。 接 下 来 我 们 更 精确 地 讨论 它们 的 概念 。 


2.4.1 大 0 表示 法 





大 8 表示 法 的 了 











E 式 定义 与 大 O 表示 法 是 平行 的 。 按 照 文本 描述 的 形式 : 当 























且 仅 当 7(n) 的 下 界 是 由 fn) 的 一 个 常数 乘积 所 确定 的 时 ，7(n) 就 是 男 一 个 函数 ftn) 





yN 2.4 大 2 和 大 @ 表 示 法 





的 大 8。 在 这 种 情况 下 ， 可 以 写成 T(n) =Q80n))。 
和 以 前 一 样 ， 我 们 使 用 两 个 常数 c 和 no 来 量化 “常数 乘积 ”和 “最 终 ”。 











大 Q 表示 法 ( 数学 版 本 ) 


T(n) = Qn)) 当 且 仅 当 存 在 正 整 数 c 和 no， 对 于 所 有 的 n 宇 n,， 满 足 
T(Wc:f(n), 

















我 们 可 以 想象 ， 对 应 的 图 形 表 现形 式 如 图 2.2 所 示 。 





,Ff(n) 





no 


n> 








图 2.2 























7(n) 对 应 用 实 线 表示 的 函数 。 函 数 ftn) 是 上 面 那 条 虚线 。 这 个 函数 并 没有 确 
定 TU 的 下 界 。 但 是 ， 如 果 把 它 乘 以 常数 c= 二， 其 结果 〈 下 面 那 条 虚线 ) 就 是 


















































在 临界 点 no 的 右边 确定 了 7(n) 的 下 界 。 因 此 TUnD) =20UD)。 
2.4.2 ”大 0 表示 法 


大 GB 表示 法 也 可 简称 为 6 表示 法 ， 可 以 类 比 为 “等 于 ”7T(n) = (tn)) 等 于 同 
时 满足 T(n) = 200D) 和 To = O00tn))。 相 当 于 T(n) 最 终 被 夹 在 ftn) 的 两 个 不 同 的 
常数 乘积 之 间 ”。 




















Q 证 明 这 个 相等 性 就 相当 于 表示 这 个 定义 的 一 个 版 本 在 当 且 仅 当 该 定义 的 另 一 个 版 本 成 立时 才 成 立 。 如 果 
7T(n) = © fn)) 对 应 于 第 二 个 定义 , 则 常数 c, 和 no 证 明 Tl(n) = O(n)); 同时 常数 ce 和 mm 能 证 明 Tn)=Q(fn))。 
换 种 思路 ， 假 设 我 们 可 以 使 用 常数 o 和 mm 证 明 7(n) = ONn))， 并 使 用 常数 cl 和 6 证 明 Tln) =Q00))， 
那么 TD) = @ Vn)) 从 这 种 意义 上 说 就 是 第 二 种 定义 ， 使 用 的 常数 是 cl、 ep 和 no， 且 n= max(n0,n0)。 
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大 GO 表示 法 ( 数学 版 本 ) 
T(n)=@(0n)) 当 且 仅 当 存在 正 整 数 cl、cz 和 no， 对 于 所 有 的 n 宇 n,。， 满 足 
Cf) ETnh) Ee,.f(n) 








注意 


算法 设计 师 在 使 用 大 @ 表 示 法 会 更 为 精确 的 场合 也 常常 使 用 大 O 表 
示 法 。 本 书 将 遵循 这 个 传统 。 例 如， 考虑 一 个 对 一 个 长 度 为 n 的 数组 进行 
扫描 的 子 程 序 ， 对 数组 的 每 个 元 素 执 行 固定 数量 的 操作 (例如 1.4.5 节 的 
Merge 子 程序 )。 这 种 子 程序 的 运行 时 间 显然 是 @(D)， 但 是 我 们 常常 用 O(n) 
来 表示 。 这 是 因为 算法 设计 师 通常 关注 上 界 ， 只 要 保证 算法 大 概 在 多 长 时 
间 能 够 完成 就 可 以 了 。 
































-td 


下 一 个 小 测验 检查 读者 对 大 O 表示 法 、 大 Q 表示 法 和 大 @ 表 示 法 的 理解 。 








小 测验 2.5 
i | 
假设 TCD = 了 1 +3n， 下 面 哪些 说 法 是 正确 的 。( 正确 的 答案 可 能 不 止 一 个 ) 


(a) T(n)= O(n) 

(b) Tln) = Qn) 

(c) Tln)= O(n’) 

(d) T(n) = O(n’) 

(关于 正确 答案 和 详细 解释 ， 参 见 第 2.4.5 节 ) 











2.4.3 小 OO 表示 法 


我 们 最 后 再 讨论 一 种 渐进 性 表示 法 : 小 O 表示 法 ， 这 也 是 我 们 常见 的 。 如 果 















































YN 2.4 大 2 和 大 @ 表 示 法 








说 大 O 表示 法 可 以 类 比 为 “小 于 或 等 于 ”小 O 表示 法 可 以 类 比 为 “严格 小 于 ”9。 


小 O 表示 法 ( 数学 版 本 ) 
Tln) = o(fn))， 当 且 仅 当 对 于 每 个 正常 数 c>0， 都 存在 一 个 no， 使 
To za 
对 于 所 有 的 nn 三 n, 都 成 立 。 

证 明 一 个 函数 是 另 一 个 函数 的 大 O 只 要 求 两 个 常量 c 和 no， 一 旦 确定 了 选 
择 就 适用 于 所 有 情况 。 为 了 证 明 一 个 函数 是 另 一 个 函数 的 小 9, 我 们 需要 的 证 明 
更 加 严格 。 对 于 每 个 常数 c， 不 管 它 有 多 小 ，7T(n) 最 终 是 由 常数 积 c.f(n) 确定 上 
界 的。 注意 用 于 对 “最 终 ” 进 行 量化 所 选择 的 no 依赖 于 ce 而 不 是 n!)， 更 小 的 
常数 c 一 般 要 求 更 大 的 常数 n0。 

例如 ， 对 于 每 个 正 整 数 k， n=o(n*)。” 


2.4.4 ”渐进 性 表示 法 的 来 源 
渐进 性 表示 法 并 不 是 由 计算 机 科学 家 发 明 的 ， 它 在 20 世纪 之 初 就 开始 用 于 
数论 。 
算法 形式 分 析 的 教父 Donald E. Knuth 建议 将 渐 近 性 表示 法 作为 讨论 增长 率 
的 标准 语言 ， 尤 其 在 分 析 算 法 运行 时 间 的 时 候 。 
“建立 在 这 里 所 讨论 问题 的 基础 上 , 我 建议 SIGACTS 的 成 员 以 及 计 
算 机 科学 和 数学 期 刊 的 编辑 采用 上 面 所 定义 的 O、Q、@ 表 示 法 ， 除 非 
很 快 出 现 一 种 更 为 合理 的 替代 方案 。” 





































































































































































































G 类似， 还 存在 可 以 类 比 为 “严格 大 于 ”的 小 8 表示 法 ， 但 它 基 本 没有 使 用 价值 。 另 外 ， 不 存在 所 谓 
的 “小 @” 表 示 法 。 
@ 对 这 个 结论 的 证 明 如 下 : 取 一 任意 常数 c > 0， 并 取 n= 一 向 上 取 最 接近 的 整数 。 因 此 ， 对 于 所 有 的 















































} 9 1 
nn 三 m0，mn" 三 n*， 因 此 按照 要 求 存在 n"' 三 一 :n* 志 cn 
no 
































@ SIGACT 是 ACM (美国 计算 机 协会 ) 的 一 个 特别 兴趣 小 组 ， 它 关注 理论 计算 机 科学 ， 尤 其 是 算法 的 分 析 。 
由 Donald E.Knuth，Big Omicron and Big Omega and Big Theta, SIGACT News，1976 年 4 一 6 月 ，P23， 导 
印 于 Selected Papers on Analysis of Algorithms 《语言 和 信息 研究 中 心 ，2000 年) 。 
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2.4.5 小 测验 2.5 的 答案 














正确 答案 (b)、(c)、(d)。 最 后 3 个 选项 都 是 正确 的 ， 仅 赁 直觉 就 能 很 清 
楚 地 知道 原因 。7(n) 是 个 平方 时 间 的 函数 。 线 性 项 3n 对 于 很 大 的 n 基本 没有 意 
义 ， 因 此 我 们 可 以 期 望 答案 〈c) 7(n)= @ (n) 是 成 立 的。 这 个 结论 很 自然 地 让 我 
们 推导 出 TD =2 (wr)， 因 此 答案 (b》7(n) =2 (m) 也 是 成 立 的 。 注 意 8(n) 作 为 TU 
的 下 界 看 上 去 并 不 直观 ,但 它 却 是 合法 的 下 界 。 类 似 ，T(n)= © (nn) 提示 了 TD = 
O(n”)， 因 此 答案 (d) 7T(n) = O(n 也 是 成 立 的 。 

正式 证 明 这 些 声明 最 终 可 以 归结 为 选择 适当 的 常数 以 满足 定义 。 例 如 ， 取 
no=1 和 c=12 可 以 证 明 (b)。 取 no=1 和 c=4 可 以 证 明 (d)。 把 这 些 常数 (no= 1， 
c1= 12 ,cs=4) 组 合 在 一 起 可 以 证 明 (c)。 命 题 2.2 的 证 明 中 的 论据 可 以 正式 证 
明 (a) 并 不 是 正确 的 答案 。 





































































































































































































2.5 其 他 例子 















































本 贡 适 用 于 希望 对 渐进 性 表示 法 进行 更 多 实践 的 读者 。 其 他 读者 也 可 以 跳 过 
这 3 个 额外 的 例子 ， 直 接 阅读 第 3 章 。 


2.5.1 在 指数 中 添加 一 个 单数 


首先 是 证 明 一 个 函数 是 男 一 个 函数 的 大 O 时 间 的 另 一 个 例子 。 

命题 2.3 如果 TD) =2710， 则 To = 0(2”)。 

也 就 是 说 , 一 个 指数 函数 的 指数 与 一 个 常数 相 加 并 不 会 改变 这 个 函数 的 渐进 
性 时 间 增长 率 。 

命题 2.3 的 证 明 : 为 了 满足 大 O 表示 法 的 数学 定义 〈2.2.3 节 )， 我 们 只 需要 
提供 一 对 合适 的 正常 数 c 和 mm (它们 均 与 无关), 使 得 对 于 所 有 的 n 宇 n,， Tln) 
的 最 大 值 为 c:2” 。 在 命题 2.1 的 证 明 中 ,我 们 简单 地 直接 取 这 两 个 常数 ， 现 在 让 
我 们 对 它们 进行 反 向 工程 。 





















































2.5 其 他 例子 




















我 们 寻找 一 种 推导 形式 ， 它 的 左 端 以 TD 开始 ， 然 后 是 一 系列 越 来 越 大 的 数 ， 
































最 终结 果 是 2” 的 一 个 常数 倍 。 这 














' 推 导 形式 是 怎么 开始 的 ?指数 中 的 “10” 令 

















人 烦恼 ， 因 此 第 一 个 步骤 很 自然 就 是 ; 














委 已 分 离 出 去 : 





T(n) DA 0 


2" .2” =1024:2” 











现在 我 们 就 处 于 良好 的 状态 ， 右 端 是 2” 常数 倍 ， 这 种 推导 形式 提示 我 们 应 
该 取 c=1024。 假设 选择 这 个 ce， 那么 对 于 所 有 的 n 三 1, 均 有 7T(n) 三 c:2”。 因 此 ， 
我 们 简单 地 取 no = 1。 这 一 对 常数 证 明了 7(n) 确 实 是 0(2”)。Q.e.d. 











2.5.2 ”指数 乘 以 一 个 常数 












































接 下 来 是 另 一 个 非 实际 的 例子 ， 显 示 了 一 个 函数 是 另 一 个 函数 的 非 大 O 时 


间 。 


命题 2.4 如 果 TD)=20， 则 TD 不 是 00C27。 
也 就 是 说 ， 把 一 个 指数 函数 的 指数 与 一 个 常数 相 乘 改变 了 它 的 渐进 性 增 
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命题 2.4 的 证 明 : 和 命题 2.2 一 样 ， 证 明 一 个 函数 并 不 是 另 一 个 函数 的 大 O 











时 间 可 以 用 反 证 法 来 完成 。 因 此 ， 我 们 先 假设 该 命题 的 相反 结论 是 正确 的 ， 即 
TQ(n) 确 实 是 0(2"”)。 根 据 大 O 表示 法 的 定义 ， 这 意味 着 存在 正常 数 c 和 no， 对 于 
所 有 的 n 宇 no， 均 有 2 三 c .2"。 由 于 2” 是 个 正 数 ， 所 以 我 们 可 以 从 这 个 不 等 

























































































式 的 两 端 约 去 这 个 数 ， 得 出 结论 : 对 于 所 有 的 n 宇 no， 均 有 2” 三 ec。 但是， 这 
































个 不 等 式 很 明显 是 错误 的 : 右 端 是 个 





增长 而 无 限 增长 。 这 就 说 明 我 们 的 假设 TCD = 0(2”) 是 不 正确 的 ， 因 此 可 以 得 出 








结论 2” 并 不 是 0(2”)。Q.e.d. 


2.5.3 ”最 大 值 vs. 和 








同 定 的 常数 (与 无关 )， 而 左 端 随 着 的 












































我 们 的 最 后 一 个 例子 使 用 大 @ 表 示 法 〈 第 2.4.2 节 )， 即 “等 于 ”的 渐进 性 版 
本 。 这 个 例子 从 渐进 性 的 角度 显示 了 取 两 个 非 负 函 数 的 逐 点 最 大 值 与 取 它 们 的 和 









































并 没有 差别 。 
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命题 2.5 ”如 果 f 和 g 表示 从 正 整 数 到 非 负 实数 的 函数 ， 并 定义 : 
对 于 每 个 n 宇 1， 均 有 Tl(n)= max{ ftn), ge(n)}， 则 T(n)= (fn) + g(n))。 
题 2.5 的 一 个 结果 是 如 果 一 个 函数 所 执行 的 O(n)) 时 间 的 子 程序 的 次 数 是 
的 ( 即 与 无关 )， 那 么 它 的 运行 时 间 也 是 O(n))。 

命题 2.5 的 证 明 : 记得 ，7T(n) =@ (tn)) 表 示 T(n) 最 终 位 于 ftn) 的 两 个 不 同 常 
数 倍 之 间 。 准 确 起 见 ， 我 们 需要 展示 3 个 常数 : 通常 的 常数 no、 常数 cl 和 6c， 
后 两 者 对 应 于 ftn) 的 较 小 倍数 和 较 大 倍数 。 下 面 我 们 对 这 几 个 常数 的 值 进行 反 
向 工程 。 

考虑 一 个 任意 的 正 整 数 n， 存 在 下 面 的 关系 : 

max{ fn), e(n) } < fln) + el(n); 

因为 不 等 式 的 右边 就 是 不 等 式 的 左边 加 上 一 个 非 负 的 数 (fn) 和 g(n) 中 较 小 

的 那个 )。 类 似 ， 





让 
































党 “ 





常数 级 




































































2 max{ fln), e(n) } fn) + gn); 


因为 不 等 式 的 左边 是 fn) 和 g(n) 中 较 大 那个 的 两 售 ， 而 右边 则 是 ftn) 和 g(n) 
各 一 份 。 把 这 两 个 不 等 式 合并 在 一 起 ， 可 以 得 到 下 面 的 结果 。 对 于 每 个 n 宇 1， 

































































5 (An) +e(n)) SE max{ fn), eln)} 入 fn) + gln) (2.3) 





因此 ，max{ fn), g(n) } 确 实 位 于 ftn) + g(n) 的 两 个 不 同 倍数 之 间 。 从 形式 上 
说 ， 选 择 n0= 1、ci= 1/2 和 cs=1 显示 了 maxt{ fln), g(n) } =0(fn)+g(n)) (根据 
(2.3))。Q.e.d. 





2.6 ”本 章 要 所 


。 渐进 性 表示 法 的 目的 是 忽略 常数 因子 (过 于 依赖 系统 ) 和 低 阶 项 (对 于 
很 大 的 输入 意义 不 大 )。 
。 如 果 函 数 7(n) 最 终 ( 对 于 足够 大 的 9) 可 以 由 fn) 的 一 个 常数 积 确 定 上 界 ， 















































Ny 2.7 习题 51 











它 就 称 为 fn) 的 大 O， 写 作 “7T(n) = O00tn))” 。 也 就 是 说 ， 存 在 正常 数 
c 和 no， 使 得 对 于 所 有 的 n 宇 no， 都 满足 T(n) 二 c fn)。 

。 如 果 函 数 7T(n) 最 终 可 以 由 ftn) 的 一 个 常数 积 确 定 下 界 , 它 就 称 为 fn) 的 大 
Q， 写 作 “7T(n) = Q0tn))”。 

。 如 果 函 数 T(n)=O0tn)) 并 且 7T(n)=Q801n)), 它 就 称 为 ftn) 的 大 BO, 写作 “7T(n) 
= (fn))”。 

。 大 0 可 以 类 比 为 “小 于 或 等 于 ” 大 2 可 以 类 比 为 “大 于 或 等 于 ” 大 @ 
可 以 类 比 为 “等 于 ”。 




































































问题 2.1 假设 上 和 g 是 在 正 整 数 上 所 定义 的 非 递 减 的 实数 值 函 数 。 对 于 所 
有 的 n 宇 1， ftn) 和 g(n) 的 值 至 少 为 1。 假设 fn)=O(g(n)) 并 且 c 是 个 正常 数 。 下 面 
这 个 式 子 是 否 成 立 ? 

f(n):log,(f(n)')= O(g(n):log,(g(n))) 

(a) 是 的 ， 对 于 所 有 的 人 g、c 都 成 立 。 

(b) 肯定 不 成 立 ， 不 论 A g、c 取 何 值 。 

(c) 有 时 候 成 立 ， 有 时 候 不 成 立 ， 取 决 于 常数 c 的 值 。 

(d) 有 时 候 成 立 ， 有 时 候 不 成 立 ， 取 决 于 函数 /和 g。 

问题 2.2 再 次 假设 两 个 正 的 非 递 减 的 函数 f 和 g， 使 fn) = O(g(n))， 
2 =O(25 中 ) 是 否 成 立 ? (正确 答案 可 能 不 止 一 个 ， 请 选择 所 有 正确 的 答案 。) 

(a) 是 的 ， 对 于 所 有 的 人 g 都 成 立 。 

(b) 肯定 不 成 立 ， 不 管 人 g 是 怎么 样 的 。 

(c) 有 时 候 成 立 ， 有 时 候 不 成 立 ， 取 决 于 函数 1 和 g。 

(d) 对 于 所 有 足够 大 的 mw， 只 要 f(n) 二 g(n)， 这 个 式 子 都 成 立 。 
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问题 2.3 ”按照 增长 率 的 速度 排列 下 面 这 些 函 数 。 当 且 仅 当 Fo) = 0O(g(n))， 
2(n) 出 现在 fn) 的 后 面 。 

Ca) Vn 

(b) 10” 














(CC) ns 

(d) 2Vee” 

Ce) 750 

问题 2.4 按照 增长 率 的 速度 排列 下 面 这 些 函 数 。 当 且 仅 当 f(n)= O(g(n))， 
g(n) 出 现在 fn) 的 后 面 。 














(a) n log,n 
(b) 2” 

(ec) 27 

(d) ne” 
(e) nm 


问题 2.5 ”按照 增长 率 的 速度 排列 下 面 这 些 函 数 。 当 且 仅 当 f(n)= 0O(g(n))， 
g(n) 出 现在 tn) 的 后 面 。 


(a) 282" 





























CB De 
(c) 71230 
(d) 2” 


(e) n log,n 


第 3 草 € 


分 治 算法 


本 章 通 过 讲解 3 个 基本 问题 的 应 




















j， 提 供 了 分 治 算法 设计 范式 的 实践 。 第 一 























个 例子 是 对 数组 中 的 逆序 对 进行 计数 的 算法 〈 第 3.2 节 )。 这 个 问题 与 测量 两 个 

















有 序列 表 的 可 

















似 性 有 关 , 适用 于 根据 自 



































己 的 知识 向 其 他 人 按照 他 们 的 偏好 提供 优 





质 的 推荐 〈 称 为 “协同 筛选 >。 第 二 个 分 治 算法 的 例子 是 Strassen 所 发 明 的 令 人 


兴奋 的 矩阵 机 
第 三 个 算法 属于 高 级 的 选修 知识 , 用 了 












































面 上 最 近 的 点 对 〈 第 3.4 节 )。” 





























日 乘 递归 算法 ， 它 与 迭代 方法 〈 第 3.3 节 ) 相 比 ,性 能 提升 非常 明显 。 
解决 计算 几何 学 的 一 个 基本 问题 ; 计算 平 





3.1 分 治 法 规范 





























例子 : MergeSort (第 1.4 节 )。 概 括 地 说 ， 








我 们 已 经 看 过 分 治 算法 的 一 个 经 
分 治 算法 设计 范式 一 般 具有 3 个 概念 步 又 。 









































分 治 范式 
1. 把 输入 划分 为 更 小 的 子 问题 。 
@ 第 3.2 节 和 第 3.4 节 的 表现 形式 的 灵感 来 自 Jon Kleinberg 和 Eva Tardos 所 著 的 Algorithm Design 


(Pearson, 20 


05) 第 5 章 。 








2 递归 地 治理 子 问题 。 
3 把 子 问 题 的 解决 方案 组 合 在 一 起 ， 形 成 原始 问题 的 解决 方案 。 





例如 ， 在 MergeSort 中 ,“ 划 分 ”步骤 把 输入 数组 分 成 左 半 部 分 和 右 半 部 分 ， 
“治理 ”步骤 是 由 Merge 子 程序 (第 1.4.5 节 ) 所 实现 的 。 在 MergeSort 和 许多 其 
他 算法 中 , 需要 用 到 巧妙 思维 的 时 机 正 是 在 这 最 后 一 步 。 也 有 些 分 治 算法 的 巧妙 
之 处 出 现在 第 一 个 步骤 (参见 第 5 章 的 QuickSort) 或 者 出 现在 递归 调用 的 规格 
说 明 中 (参见 第 3.2 节 )。 


































































































3.2 以 O(n1og nn) 时 间 计 数 逆 序 对 


3.2.1 问题 


本 节 研 究 对 一 个 数组 中 的 逆序 对 计数 的 问题 。 所 谓 数组 的 逆序 对 ， 就 是 指 一 对 
元 素 “ 乱 了 序 ” 也 就 是 出 现在 数组 较 前 位 置 的 元 素 比 出 现在 较 后 位 置 的 元 素 更 大 。 



































问题 : 对 逆序 对 进行 计数 
输入 : 一 个 包含 不 同 整 数 的 数组 4。 
输出 : 4 中 的 逆序 对 数量 ， 即 数组 中 符合 i<j 并 且 4[i] > 4 四 的 (i, 让 对 的 数量 。 
例如 ， 已 经 排序 的 数组 4 没有 任何 逆序 对 。 反 过 来 的 说 法 也 是 对 的 ， 未 排 
序 的 数组 至 少 有 1 对 逆序 对 。 
322 一 个 例子 


考虑 下 面 这 个 长 度 为 6 的 数组 : 


了 1315|214|6| 


这 个 数组 有 几 个 逆序 对 呢 ? 显而易见 的 一 个 例子 就 是 s 和 2( 分 别 对 应 于 
和 j=4)。 这 个 数组 还 有 另外 2 对 逆序 对 : 3 和 2 以 及 5 和 4。 









































一 3 





~ 


3.2 以 O(n log7 ) 时 间 计数 逆序 对 


小 测验 3.1 
包含 6 个 元 素 的 数组 最 多 可 能 出 现 几 对 逆序 对 ? 
(a) 15 
(b) 21 
(c) 36 
(d) 64 
(关于 正确 答案 和 详细 解释 ， 参 见 第 3.2.13 节 ) 











3.2.3 ”协同 沛 选 








为 什么 需要 对 数组 中 的 逆序 对 进行 计数 呢 ? 一 个 原因 是 想 要 计算 一 种 数值 
相似 度 ， 该 数值 相似 度 用 于 对 两 个 已 排序 列表 之 间 的 相似 程度 进行 量化 。 例 如 ， 
读者 邀请 一 位 朋友 一 起 对 两 人 都 看 过 的 10 部 电影 按照 从 最 喜欢 到 最 不 喜欢 的 顺 
序 进 行 排列 。 怎 么 衡量 两 人 的 选择 是 “相似 ”或 “不 同 ” 呢 ? 解决 这 个 问题 的 一 















































































































































量化 方法 是 通过 一 个 包含 10 个 元 素 的 数组 4: 4[1] 表 示 读 者 的 朋友 从 电影 列 
表 中 所 选择 的 最 喜欢 的 电影 ，4[2] 表 示 他 其 次 喜欢 的 电影 ， 以 此 类 推 ,4[10] 表 示 
他 最 不 喜欢 的 电影 。 这 样 ， 如 果 读 者 最 喜欢 的 电影 是 《星球 大 战 》 而 这 部 电影 
在 读者 朋友 的 列表 中 只 是 出 现在 第 5 位， 那么 4[1] = $。 如 果 两 人 的 排序 是 相同 





的 ， 这 个 数组 就 是 已 经 排序 的 ， 不 存在 逆序 对 。 这 个 数组 包含 的 逆序 对 越 多 ， 读 



































者 和 朋友 之 间 对 电影 评价 的 分 歧 就 越 多 ， 对 电影 的 偏好 也 更 加 不 同 。 

















对 已 排序 列表 进行 相似 性 测量 的 一 个 原因 是 进行 协同 筛选 , 这 是 一 种 用 于 生 
































成 推荐 方案 的 方法 。 网 站 怎么 推出 关于 产品 、 电 影 、 歌 曲 、 新 闻 故 事 等 内 容 的 建 






















































































议 呢 ?在 协同 第 选中 , 其 思路 是 寻找 其 他 具有 相似 偏好 的 用 户 , 然后 
































E 荐 他 们 所 


喜欢 的 内 容 。 因 此 协同 筛选 需要 用 户 之 间 “ 相 似 性 ”的 形式 定义 ， 而 计算 逆序 对 

















能 够 捕捉 到 这 个 问题 的 一 些 本 质 。 
3.2.4” 穷 举 搜 索 法 








计算 数组 的 逆序 对 数量 的 速度 有 多 快 ? 如 果 对 此 缺乏 概念 





, 那 可 以 淮 














试 使 用 
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穷 举 搜索 法 。 


用 穷 举 搜索 法 对 逆序 对 进行 计数 
输入 : 包含 有 nn 个 不 同 整 数 的 数组 4。 
输出 : 4 中 逆序 对 的 数量 。 


numInv := 0 
for i := 1 ton-1l1do 
for]j :=i+1l1ton do 
if A[i] > A[j] then 
numInv := numInv + 1 


return numInV 









































显然 , 这 是 一 种 正确 的 算法 。 它 的 运行 时 间 是 什么 ? 根据 小 测验 3.1 的 答案 ， 
我 们 知道 循环 的 迭代 次 数 与 输入 数组 的 长 度 n 的 平方 成 正比 ,由 于 这 种 算法 每 次 
迭代 时 执行 的 操作 数量 是 常数 级 的 ， 因 此 它 的 渐进 性 运行 时 间 是 @(n)。 记 住 ， 
经 验 丰 富 的 算法 设计 师 的 座右铭 是 :“ 还 能 做 得 更 好 吗 ? ” 


3.2.5 “分 治 ; 






















































































答案 是 肯定 的 ， 解 决 方案 是 运行 时 间 为 O(n log n) 的 分 治 算法 ， 它 的 性 能 较 
之 穷 举 搜索 法 有 了 很 大 的 提高 。 它 的 “划分 ”步骤 和 MergeSort 算法 的 完全 一 样 ， 
一 个 递归 调用 作用 于 数组 的 左 半边 , 另 一 个 递归 调用 作用 于 数组 的 右 半边 。 为 了 
理解 这 两 个 递归 调用 之 外 所 需要 完成 的 剩余 工作 , 我 们 把 一 个 长 度 为 n 的 数组 4 
中 的 逆序 对 (Gi, 让 分 为 3 类 。 

































































(1) 左 道 序 对 ， 赣 序 对 的 ; 和 7 都 位 于 数组 的 左 六 部 分 《 即 %j < 了 m )。 

















(2) 有 逆序 对 ， 逆序 对 的 和/ 都 位 于 数组 的 右 半 部 分 《 即 j > )。 














(3) 分 离 逆 序列 : 道 序 对 的 i 位 于 数组 的 左 半 部 分 ，j 位 于 数组 的 右 半 部 分 
(Wi<7<)). 








例如 ， 在 第 3.2.2 节 的 那个 6 元 素数 组 例子 中 ，3 个 道 序 对 都 是 分 离 道 序 对 。 


站 
下 





3 3.2 以 O(n log7 ) 时 间 计数 逆序 对 














第 1 个 递归 调用 作用 于 输入 数组 的 左 半 部 分 , 它 采 用 递归 的 方式 对 左 逆序 对 
进行 计数 “没有 其 他 任何 操作 )。 类 似 ， 第 2 个 递归 调用 对 所 有 的 右 逆序 对 进行 
计数 。 剩余 的 任务 是 对 那些 并 没有 被 这 两 个 递归 调用 所 计数 的 逆序 对 〈 即 分 离 道 
序 对 ) 进行 计数 。 这 是 这 个 算法 的 “组 合 ” 步 又 ， 我 们 需要 为 它 实 现 一 种 特殊 的 
线性 时 间 的 子 程序 ， 类 似 于 MergeSort 算法 中 的 Merge 子 程序 。 




































































3.2.6 ”高 级 算 ; 


我 们 的 分 治 算法 可 以 翻译 为 下 面 的 伪 码 ， 用 于 计数 分 离 逆 序 对 的 CountSplitInv 
子 程 序 目前 还 没有 实现 。 









































CountInv 
输入 : 包含 nn 个 不 同 整数 的 数组 4。 
输出 : 4 中 逆序 对 的 数量 . 


if n=0orn= 1 then // 基本 条 件 


returrn 0 

















else 
leftInv := CountInv (first half of A) 
rightIinv := CountIinv (second half of A) 
splitInv := CountSplitInyv (A) 








return leftIinv + righntInv + splitInyv 














第 一 个 和 第 二 个 递归 调用 分 别 对 左 逆序 对 和 右 逆 序 对 进行 计数 。 假 如 
CountSplitInv 子 程序 可 以 正确 地 对 分 离 逆 序 对 进行 计数 , CountInv 就 可 以 正确 地 
计算 逆序 对 的 总 数 。 


3.2.7 关键 思路 : 站 在 MergeSort 的 肩膀 上 


要 想 使 对 数组 的 分 离 道 序 对 进行 计数 的 算法 具有 线性 运行 时 间 是 个 很 有 雄 
心 的 目标 。 分 离 逆序 对 的 数量 可 能 很 多 ， 如果 4 按 顺 序 包含 了 +1…,n ， 然 后 

















































































































按 顺 序 又 包含 售 了 1,2,…,， 那 么 一 共 就 有 -个 分 离 逆序 对 。 我 们 怎么 才能 在 线 








性 工作 时 间 内 完成 平方 级 数量 的 工作 呢 ? 
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思路 就 是 在 设计 递归 式 计数 逆序 对 的 算法 时 站 在 MergeSort 算法 的 肩膀 之 
上 。 它 除了 递归 调用 之 外 还 需要 完成 一 些 任务 , 才能 更 方便 地 计数 分 离 逆 序 对 的 
煞 量 ”。 每 个 递归 调用 不 仅 负 责 对 指定 部 分 的 数组 中 的 北 序 对 进行 计数 ， 而 且 要 
返回 该 数组 的 排序 版 本 。 我 们 已 经 知道 (通过 定理 1.2) 排序 是 一 种 可 以 尽情 使 
用 的 基本 操作 ， 其 运行 时 间 为 O(n log n)。 因 此 ， 如 果 我 们 所 争取 的 运行 时 间 上 
限 为 O(n log n)， 那 么 有 什么 理由 不 进行 排序 昵 ?我 们 很 快 就 会 看 到 ， 对 两 个 已 
经 排序 的 子 数组 进行 归并 这 个 任务 简直 就 是 为 对 数组 中 的 分 离 逆 序 对 进行 计数 

这 个 任务 量 身 定做 的 。 
下 面 是 第 3.2.6 节 的 伪 码 经 过 修订 的 版 本 ， 它 在 计数 的 同时 还 对 数组 进行 排序 。 






























































































































































Sort-and-CountInv 
输入 : 包含 nn 个 不 同 整 数 的 数组 4。 
输出 : 包含 与 4 中 相同 整数 的 、 已 经 排序 的 数组 B， 以 及 数组 4 中 的 逆序 对 
的 数量 。 


ifn=0orn=1then // 基本 条 件 
return (A; 0) 

















else 
(C leftInv) := Sort-and-CountInv (first half of A) 
(D; rightInv) := Sort-and-CountInv(second half of A) 
(B; splitInv) := Merge-and-CountSplitInv(C;D) 





return (B; leftIinv + rightIinv + splitInv) 




















我 们 仍然 需要 实现 Merge-and-CountSplitInv 子 程序 。 我 们 知道 如 何 用 线性 时 
间 对 两 个 已 经 排序 的 列表 进行 归并 ， 但 是 怎么 才能 利用 这 个 成 果 对 分 离 逆序 对 进 
行 计 数 呢 ? 





















































3.2.8 重 昌 Merge 


为 了 观察 为 什么 合并 已 经 排序 的 数组 可 以 自然 地 发 现 分 离 逆 序 对 ， 我 们 重新 
顾 一 下 Merge 子 程序 的 伪 码 。 








旺 
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回 























G 类似 ， 有 时 候 在 强化 了 归纳 假设 之 后 ， 归 纳 证 明 会 变 得 更 加 容易 。 


3 3.2 以 O(n log7 ) 时 间 计数 逆序 对 


Merge 
输入 : 已 经 排序 的 数组 C 和 万 (长 度 分 别 为 n/2 )。 
输出 : 已 经 排序 的 数组 BP (长 度 为 n)。 
用 于 简化 问题 的 先决 条 件 : n 是 偶数 . 





i 
for k := 1 to n do 
if C[i] < D[j] then 
B[k] := C[i], i := i +1 
else A DE LE] 
BL] DL] 






























































重 温 一 下 ，Merge 子 程序 根据 索引 平行 地 (用 i 访问 C， 用 j 访 问 D) 访问 


每 个 已 经 排序 的 子 数组 ， 并 按 从 左 向 右 的 排序 顺序 生成 输出 数组 (使 用 索引 用 。 
在 循环 的 每 次 迭代 中 ， 这 个 子 程序 寻找 目前 为 止 尚未 被 复制 到 B 中 的 最 小 









































元 素 。 由 于 C 和 D 都 已 经 排序 ， 所 以 CID 和 Dj] 之 前 的 所 有 元 素 都 已 经 被 复 
到 她 中 ,， 仅 有 的 两 个 候选 元 素 就 是 C[i] 和 D[]。Merge 子 程序 判断 这 两 个 元 素 哪 





























个 更 小 ， 并 把 它 复制 到 输出 数组 的 下 一 个 位 置 。 



































串 





如 果 需 要 计算 分 离 逆 序 对 的 数量 ，Merge 子 程序 需要 做 些 什么 呢 ? 我 们 首先 
讨论 一 种 特殊 的 情况 ,就 是 数组 4 中 不 包含 任何 分 离 逆序 对 , 4 中 的 每 个 逆序 对 
































要 么 是 左 首 序 对 ， 要 么 是 右 逆序 对 。 





小 测验 3.2 


什么 关系 ? 

(a)C 和 包含 4 中 最 小 的 元 素 , DD 包含 第 二 小 的 ，C 包含 第 三 小 的 ， 依次 类 推 . 
(b) C 的 所 有 元 素 都 小 于 万 的 任何 元 素 。 

(c) C 的 所 有 元 素 都 大 于 万 的 任何 元 素 。 

(d) 没有 足够 的 信息 可 以 回答 这 个 问题 。 

(关于 正确 答案 和 详细 解释 ， 参 见 第 3.2.13 节 ) 





假设 输入 数组 4 不 存在 分 离 逆序 对 ， 那 么 已 经 排序 的 子 数组 C 和 万 之 间 存 在 
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在 解决 了 小 测验 3.2 之 后 , 我 们 可 以 看 到 Merge 在 数组 不 存在 分 离 逆 序 对 时 
会 执行 一 些 特别 无 聊 的 操作 。 由 于 C 的 每 个 元 素 都 小 于 D 的 每 个 元 素 ， 所 以 最 
小 的 元 素 总 是 出 现在 C 中 (除非 C 中 不 再 剩 下 任何 元 素 )。 因 此 Merge 子 程序 只 
是 把 C 和 DD 连接 在 一 起 ， 它 首先 复制 C 的 所 有 元 素 ， 然 后 复制 D 的 所 有 元 素 。 
这 是 不 是 意味 着 当 D 的 一 个 元 素 被 复制 到 输出 数组 时 ， 分 离 逆 序 对 与 C 中 剩余 
元 素 的 数量 有 关 呢 ? 


3.2.9 Merge 和 分 离 逆 序 对 


为 了 进一步 证 明 自 己 的 直觉 , 我 们 考虑 对 一 个 包含 6 个 元 素 的 数组 4={1, 3， 
5, 2, 4, 6} (来 自 第 3.2.2 节 ) 运行 MergeSort 算法 ， 参 见 图 3.1。 这 个 数组 的 左 半 
部 分 和 右 半 部 分 都 已 经 排序 ,因此 不 存在 左 逆序 对 和 右 逆序 对 ,两 个 递归 调用 都 
返回 0。 在 Merge 子 程序 的 第 1 次 迭代 时 ，C 的 第 1 个 元 素 (1) 被 复制 到 B。 
此 时 没有 任何 与 分 离 逆 序 对 有 关 的 信息 , 事实 上 这 个 元 素 也 与 分 离 逆 序 对 没有 任 
何 关 系 。 但 是 ， 在 第 2 次 欠 代 时 ,“2” 被 复制 到 输出 数组 中 ， 但 此 时 C 中 仍然 
剩 下 元 素 3 和 5。 这 就 说 明了 4 中 有 2 个 分 离 逆 序 对 ,也 就 是 与 2 相关 联 的 两 个 
逆序 对 。 在 第 3 次 迭代 时 ，3 从 C 被 复制 到 8B， 此 时 没有 其 他 分 离 逆 序 对 与 这 个 
元 素 有 关 。 当 4 从 DD 被 复制 到 B 时 ， 数 组 C 中 仍然 还 有 一 个 元 素 5， 提 示 4 中 
还 有 第 3 个 也 就 是 最 后 一 个 分 离 逆序 对 (元 素 5 和 元 素 2)。 
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图 3.1 Merge 子 程序 的 第 4 次 迭代 面 对 的 是 已 经 排序 的 子 数组 {1, 3, 5} 和 {2, 4, 6}。 
从 万 复制 元 素 “4” 此 时 “5” 仍 然 留 在 C 中 ， 显 示 了 与 这 两 个 元 素 相关 的 分 离 逆序 对 




































































下 面 这 个 辅助 结论 表示 上 面 这 个 例子 的 模式 可 以 推 及 到 一 般 情 况 : 在 Merge 
子 程序 把 第 2 个 子 数组 D 中 的 元 素 y 复制 到 输出 数组 的 当 次 迭代 时 ， 与 y 有 关 
的 分 离 逆 序 对 的 数量 就 是 此 时 C 中 仍然 剩余 的 元 素 的 数量 。 




















辅助 结论 3.1 假设 4 是 个 数组 , C 和 万 分别 是 该 数组 左 半 部 分 和 右 半 部 分 








YN 3.2 以 O(n log7 ) 时 间 计数 逆序 对 




















已 经 排序 的 子 数 组 。4 中 左 半 部 分 的 元 素 x 和 4 中 右 半 部 分 的 元 素 当 且 仅 当 下 
面 这 种 情况 成 立时 才能 构成 一 对 逆序 对 : 在 Merge 子 程序 中 输入 C 和 DD, y 在 x 
之 前 被 复制 到 输出 数组 。 

证 明 : 由 于 输出 数组 是 按 从 左 向 右 的 顺序 生成 的 , 因此 x 或 y 中 较 小 的 那个 
先 被 复制 。 由 于 x 位 于 4 的 左 半 部 分 , y 位 于 右 半 部 分 ， 因此 当 且 仅 当 x>y 时 x 
和 yy 才 会 构成 一 对 逆序 对 ， 也 就 是 当 且 仅 当 y 在 x 之 前 被 复制 到 输出 数组 中 时 x 
和 yy 才 会 构成 一 对 逆序 对 。Q.e.d. 


3.2.10 Merge_and_CountSplitinv 


民 据 辅助 结论 3.1 所 提供 的 结论 ， 我 们 可 以 对 Merge 的 实现 进行 扩展 ， 实现 
Merge-and-CountSplitInv。 













































































































































































我 们 用 一 个 变量 记录 分 离 逆序 对 的 当前 计数 ， 每 次 当 一 个 元 素 从 右 半 部 分 的 
子 数组 DD 复制 到 输出 数组 妃 时 ， 就 把 当前 计数 加 上 左 羊 部 分 的 子 数组 C 中 仍然 
剩余 的 元 素数 量 。 


Merge-and-CountSplitInv 
输入 : 已 经 排序 的 数组 C 和 万 (长度 均 为 mW2 )。 
输出 : 已 经 排序 的 数组 B (长 度 为 n) 以 及 分 离 逆 序 对 的 数量 。 
用 于 简化 问题 的 先决 条 件 : n 是 偶数 . 


i := 1, j := 1, splitInv := 0 
fork := 1 to n do 
if C[i] < D[j] then 
BL Se GIEE)y, Te 
else pi ee 
BEER], Se DL rt 
splitInv := splitInv + (n/2-i+1) 
C 中 剩余 元 素 的 数量 

















return (B; splitInv) 





3.2.11 正确 性 


Merge-and-CountSplitInv 的 正确 性 是 由 辅助 结论 3.1 所 保证 的 。 每 个 分 离 道 
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序 对 只 涉及 第 2 个 子 数组 中 的 1 个 元 素 , 并 且 当 y 被 复制 到 输出 数组 时 ， 这 个 道 
序 对 正好 被 计数 1 次 。 整 个 Sort-and-CountInv 算法 (第 3.2.7 节 ) 的 正确 性 取决 
于 下 面 的 条 件 是 否 都 得 到 满足 : 第 1 个 递归 调用 正确 地 计算 左 逆序 对 的 数量 , 第 
2 个 递归 调用 正确 地 计算 右 逆序 对 的 数量 ，Merge-and- CountSplitInv 返回 剩余 逆 
序 对 (分离 逆 序 对 ) 的 正确 数量 。 













































































G3 
二 二 























3.2.12 ”运行 时 间 








我 们 还 可 以 借助 前 面 已 经 完成 的 MergeSort 算法 运行 时 间 的 分 析 ， 对 Sort-and- 
CountInv 算法 的 运行 时 间 进 行 分 析 。 首 先 考 虑 单 次 调用 Merge-and-CountSplitInv 
的 运行 时 间 ， 提 供给 它 的 是 2 个 长 度 为 4/2 的 子 数组 。 和 Merge 子 程序 一 样 ， 它 
在 循环 的 每 次 迭代 时 执行 常数 级 的 操作 ,另外 还 有 一 些 常 数 级 的 其 他 操作 , 运行 
时 间 为 O(Z)。 
顾 第 1.5 节 对 MergeSort 算法 运行 时 间 的 分 析 ， 我 们 可 以 看 到 这 个 算法 具 
有 3 个 重要 的 属性 ， 导 致 它 的 运行 时 间 上 界 是 O(n log n)。 首 先 ， 这 个 算法 的 每 
次 调用 都 产生 两 个 递归 调用 。 其 次 , 每 一 层 递 归 调 用 的 输入 长 度 只 有 上 一 层 的 
半 。 最 后 ， 每 个 递归 调用 所 完成 的 工作 与 输入 长 度 呈 正比 〈 不 包括 下 层 递 归 调用 
所 完成 的 工作 )。 

由 于 Sort-and-CountInv 算法 具有 这 些 属性 , 所 以 第 1.5 节 的 分 析 对 它 也 是 适 
用 的 ， 因 此 它 的 运行 时 间 上 界 是 O(n log n)。 

定理 3.2〈 计 数 逆 序 对 ) 对 于 长 度 大 于 等 于 1 的 数组 A，Sort-and-CountInv 

算法 计算 A 中 逆序 对 的 数量 运行 时 间 是 O(n log nn)。 




































































加 | 
































































































































3.2.13 小 测验 3.1~ 3.2 的 答案 


小 测验 3.1 的 答案 








正确 答案 (a)。 这 个 问题 的 正确 答案 是 15。 逆 序 对 的 最 大 可 能 数量 就 是 
i 有 站 全 6 一 立 、 I 
ij efL2. 6] 中 满足 1< j 的 (i、j) 对 的 数量 。 这 个 数量 用 | 让 意思 是 











“6 中 选 


n 


D2 一 生计 | 
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-2 , 四 此 | js 在 一 个 反 序 排列 的 6 元 素 


6 
2 











数组 (6, 5, 4, 3, 2, 1) 中 ， 每 一 对 元 素 都 是 逆序 的 ， 因 此 这 个 数组 一 共有 15 个 赣 





序 对 。 


小 测验 3.2 的 答案 








正确 答案 (b)。 在 不 包含 分 离 逆序 对 的 数组 中 ， 左 半 部 分 数组 中 的 所 有 元 


素 都 小 于 右 半 部 分 数组 9 









































FP 的 所 有 元 素 。 如 果 左 半 部 分 数组 中 的 某 个 元 素 4 


( el 2, 下 ) 大 于 右 半 部 分 数组 中 的 某 个 元 素 401C j | 人 2 2 人 "| )， 





则 (Gi, 旋 就 构成 分 离 逆 序 对 。 


3.3 Strassen 的 和 矩阵 相 乘 算法 

















本 贡 把 分 治 算法 设计 范式 应 用 于 矩阵 相 乘 这 个 问题 , 这 类 算法 的 昨 峰 无 颖 是 
Strassen 的 矩阵 相 乘 算法 ， 它 的 运行 时 间 令 人 吃惊 ， 竟 然 低 于 立方 级 。 这 个 算法 





是 精巧 的 算法 设计 发 挥 神奇 威力 的 一 个 典型 例子 。 它 可 以 让 我 们 看 到 精妙 的 算法 


是 怎样 把 简单 解决 方案 远 远 抛 在 身后 的 ， 即 使 是 对 于 极端 基本 的 问题 。 


3.3.1 















































和 矩阵 相 乘 




















假设 人 和 了 是 nxn 的 整数 年 阵 ， 每 个 矩阵 包含 个 元 素 。 在 矩阵 的 乘积 


二 于. 了 中 , 2Z 
量 积 2”〈 见 图 3.2)。 即 

















@ (5, 站 的 组 合 数量 是 n(n 一 1) 个 。 因 


数量 





E 好 是 n(n-1) 的 一 半 。 








@ 两 个 长 度 为 n 的 向 量 a=(@1…,qw) 和 b=(b1…, b) 的 数量 积 就 是 把 a 和 4b 中 相同 位 置 的 元 素 相 乘 的 结 呈 








累加 


在 一 起 ， 4 .5= Sap, 
总 





























为 i<j， 所 以 n 次 选择 i，n1 次 选择 j。 根 据 定义 ;满足 i<j 的 


第 i 行 第 j 列 的 元 素 2 被 定义 为 XX 的 第 i 行 和 的 第 j 列 的 数 


日 











人 


63 


64 




















图 3.2 ”和 托 阵 乘积 怀 . 了 
3.3.2 例子 (n=2) 


现在 我 们 来 深入 探讨 n=2 这 种 情况 。 我 们 可 以 


的 矩阵 : 
a bl/lef 
cdjleh 


A 
Y 





的 (i, 门 项 是 兰 的 第 i 行 和 了 的 第 j 列 的 数量 积 









































(3.1) 





] 8 个 参数 来 描述 两 个 2X2 


在 矩阵 的 乘积 对 .了 中 ,左上 角 的 元 素 是 和 的 第 1 行 和 了 的 第 1 列 的 数量 积 ， 











即 ae+bg 。 一 般 而 言 ， 对 于 像 上 面 这 样 的 矩阵 对 和 了 了， 


i aet+bg af +bh 
cetdg cf+dh 


3.3.3 算法 
现在 我 们 考虑 计算 两 个 矩阵 乘积 的 算法 。 


人 全 
I 








问题 : 矩阵 乘法 
输入 : 两 个 nxn 的 整数 矩阵 六 和 了 
输出 : 矩阵 夹 积 久 - 了 。 


(3.2) 
































QD 我 们 所 讨论 的 算法 也 可 以 扩展 到 非 正方 








的 矩阵 相 乘 ， 简 单 起 见 ， 我 们 还 是 只 针对 正方 








和 矩阵。 
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输入 的 长 度 与 人 和 了 元 素数 量 ww 成 正比 。 由 于 我 们 假设 必须 要 读 取 输入 并 
写 入 到 输出 ， 因 此 能 够 期 望 的 最 优 算法 的 运行 时 间 是 O(n)， 与 输入 的 数量 呈 线 
性 相关 ， 与 矩阵 的 维度 呈 平 方 相关 。 

我 们 能 够 在 多 大 程度 上 接近 这 个 最 理想 目标 呢 ? 

和 矩阵 乘法 有 一 种 最 直接 的 简单 算法 ， 它 就 是 直接 把 矩阵 乘法 的 数字 定义 转换 
为 代码 。 




































































简单 的 矩阵 乘法 
输入 : 两 个 nxn 的 整数 矩阵 革 和 了 了 。 


输出 : Z=X + 了, 
for i := 1 ton do 
for]j] := 1 ton do 
2[i][j] := 0 
for k := 1 to n do 
Z[il][j] := 2Z[i][j] + X[i][k] * Y[k][j] 








return 2 











这 种 算法 的 运行 时 间 是 多 少 ? 
小 测验 3.3 

这 种 直接 、 简 单 的 矩阵 相 乘 算法 的 渐进 性 运行 时 间 是 什么 呢 (用 短 阵 维度 亲 
的 函数 表示 ) ?假设 两 个 矩阵 元 素 的 相 加 和 相 来 均 为 常数 级 的 操作 时 间 ，。 
(a) O(n logn) 

(b) Ol0) 

(c) O(n) 

(d) O(n)) 

(关于 正确 答案 和 详细 解释 ， 参 见 第 3.3.7 节 ) 








3.3.4 “分 治 ; 














问题 还 是 和 原来 的 一 样 : 还 能 做 得 更 好 吗 ? 每 个 人 的 第 一 反应 是 矩阵 乘法 在 









































本 质 上 根据 它 的 定义 是 需要 Qn ) 时 间 的 。 但 是 ， 也 许 我 们 的 雄心 已 经 被 改进 了 
整数 乘法 的 Karatsuba 算法 (第 1.3 节 ) 所 撩 拨 。 那 种 巧妙 的 分 治 算法 较 之 简单 
的 小 学 算法 有 很 大 的 改进 *。 是 不 是 存在 一 种 类 似 的 算法 可 以 高 效 地 计算 矩阵 的 
乘积 呢 ? 


为 了 应 用 分 治 范式 第 3.1 节 )， 我 们 需要 了 解 怎样 把 输入 划分 为 更 小 的 子 
问题 ， 并 知道 怎么 把 这 些 子 问题 的 解决 方案 组 合 为 原始 问题 的 解决 方案 。 最 简单 
的 方式 是 把 正方 形 矩 阵 在 水 平方 向 上 和 垂直 方向 上 同时 对 半分 割 为 更 小 的 正方 
形 子 矩阵 。 换 而 言 之 ， 我 们 采用 下 面 的 写法 : 


AB Er 
= | -| | (3.3) 
CD GH 

























































































































































































其 中 ， A, B, 2 如 都 是 5x 了 的 矩阵 。 



































矩阵 乘法 有 一 个 很 酷 的 特性 , 就 是 相同 大 小 的 矩阵 块 的 行为 和 单个 矩阵 元 素 
一 样 。 也 就 是 说 ， 上 面 的 全 和 了 上 共有 这 样 的 性 质 : 


wy A EtBG AF+BH 
C:E+D:G C:F+D:H 























(3.4) 








它 完全 可 以 与 表示 n=2 这 种 情况 的 等 式 (3.2) 进行 类 比 。( 它 遵循 了 矩阵 乘 
法 的 定义 ， 读 者 可 以 对 它 进行 检验 ,) 在 等 式 (3.4) 中 ， 两 个 矩阵 相 加 就 是 简单 
地 把 对 应 的 元 素 相 加 , K+ 工 的 (i 让 项 就 是 KK 和 工 的 (i 让 项 相 加 的 结果 ,等 式 (3.4) 
中 的 分 解 与 计算 可 以 很 自然 地 转换 为 一 个 实现 矩阵 乘法 的 递归 算法 
RecMatMult。 
































RecMatMult 
输入 : 两 个 nxn 的 整数 矩阵 全 和 了 了 . 


输出 : 2Z=X .了 7. 














QD 实际 上 我 们 还 没有 证 明 这 一 点 ， 不 过 第 4.3 节 会 对 此 进行 论证 。 
@ 和 以 前 一 样 ， 方 便 起 见 ， 我 们 假设 是 偶数 。 同 样 ， 即 使 n 是 奇数 也 没有 任何 问题 。 























ifn = 1 then 
return 元 素 为 X[1] [1] ， Y[1] 
// 基本 条 件 


先决 条 件 : n 是 2 的 整数 次 方 。 
// 基本 条 件 





else 
A;B;C;D := 像 等 式 (3.3) 一 样 的 X 子 矩阵 
E;F;G;H := 像 等 式 (3.3) 一 样 的 Y 子 矩阵 
递归 地 计算 等 式 (3.4) 中 所 出 现 
返回 等 式 (3.4) 的 计算 结 
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[1] 的 1x1 甜 阵 








的 8 个 矩阵 积 








RecMatMult 算法 的 运行 时 间 3 


递归 调用 ， 


还 需要 完成 的 工作 是 (3.4)〉 中 的 矩阵 加 法 。 由 于 nxn 的 矩阵 具有 个 元 素 ， 因 















































不 是 非常 直观 。 唯 一 清楚 的 是 它 一 共有 8 个 








每 个 调用 的 输入 长 度 是 矩阵 维度 的 一 半 。 除 了 进行 这 些 递归 调用 之 外 ， 


















































此 两 个 矩阵 相 加 所 需要 的 操作 数量 与 元 素 的 数量 成 正比 ， 在 一 对 《x 的 矩阵 上 


运行 的 一 个 递归 调 


的 工作 。 
























































执行 @ (人 ) 数量 的 操作 , 不 包括 它 所 制造 的 递归 调用 所 完成 

















令 人 失望 的 是 , 这 




















:递归 算法 的 运行 时 间 高 达 @ (n ) , 与 前 面 的 简单 算法 相 
同 。( 这 是 通过 “ 主 方法 ”推断 的 ， 将 在 下 一 章 解释 。) 我 们 所 做 的 工作 都 是 无 用 






























































功 ? 记得 在 整数 乘法 问题 中 , 战胜 小 学 数学 算法 的 关键 在 于 高 斯 发 明 的 技巧 , 就 


是 把 递归 1 





























周 用 的 数量 由 4 个 减少 为 3 个 (第 1.3.3 节 )。 算 阵 乘 法 中 是 不 是 也 存在 





























与 高 斯 技巧 相似 的 诀窍 呢 ?” 能 不 能 把 递归 调用 的 数量 由 8 个 减少 到 7 个 ? 





3.35 


节省 一 个 递归 调用 




















Strassen 算法 的 高 级 计划 是 相对 于 RecMatMult 算法 节省 一 个 递归 调用 ， 付 
出 的 代价 是 一 些 常数 级 的 和 矩阵 加 法 和 减法 操作 。 





Strassen ( 











非常 高 级 的 描述 ) 


输入 : 两 个 nxn 的 整数 矩阵 怀 和 了 了 。 
输出 : Z=X + 了， 
先决 条 件 : n 是 2 的 整数 次 方 。 


68 


IE n= 


else 





A;B;C;D 
E;F;G;H 
递归 地 从 (有 A，B，…， 





1 then 


return 元 素 为 X[1] [1]- 


H) 














// 基本 情况 
¥ [1 
// 递归 情况 





:= 像 等 式 (3.3) 一 样 的 X 子 矩阵 
:= 像 等 式 (3.3) 一 样 的 Y 子 矩阵 
中 计算 7 个 乘积 (巧妙 地 选择 ) 

返回 对 前 一 个 步骤 所 计算 的 矩阵 所 执行 的 适当 的 (巧妙 地 选择 ) 加 法 和 减法 操作 





[1] 的 1x1 算 阵 








从 8 个 递归 j 
递归 调用 是 被 反复 节 
可 以 产生 极为 优秀 的 渐进 


行 时 间 。 











周 用 中 节省 1 个 是 和 












































上 界 ,1 





是 现在 








低 于 立方 的 算法 。 
现在 ， 我们 对 Strassen 的 入 



































大 的 成 


功 。 





它 不 只 是 减少 了 算法 12.5% 的 运 

















省 的 ， 所 以 这 





性 运行 时 间 。 我 们 将 在 第 4.3 
至 关 重 要 的 是 我 们 知道 节省 一 个 递归 调用 可 以 产生 一 种 运行 时 间 











E 阵 相 乘 算法 有 关 的 高 级 概念 j 





' 节 省 是 不 断 累积 的 。 剧 透 一 下 ， 它 








节 看 到 它 的 实际 运行 时 间 
























































行 了 归纳 。 读者 是 











不 是 怀疑 它 是 否 能 够 改进 那 种 简单 的 算法 ? 或 者 对 它 实 际 上 是 怎样 选择 乘积 和 





加 法 的 感到 好 奇 ? 如 果 是 这 样 ， 下 一 节 的 内 容 就 是 为 此 量 身 定 


3.3.6 


假设 X 和 了 表示 两 个 zx 于 的 输入 条 














细节 





问 








石 。 下 再 

















在 花费 了 O(n ) 的 时 间 执 行 必 要 的 和 矩阵 力 
E 阵 上 执行 以 上 的 7 个 递归 调用 ， 计 算 PJ，P,，…… 
新 构建 X 和 了 的 和 矩阵 乘积 真 的 足够 了 吗 ? 下 国 


n n 
至 x 王 的 
2 2 


息 对 于 在 @ (nm?) 的 时 间 内 习 





下 




















P=4:(F-H) 
P=(4+B):H 
P=(C+D):E 
P=D:(G-E) 





P=(4+D):(E+ 
P=(B-D)-(G+ 
P=(4-C):(E+ 


























改 的 。 





E 阵 ， 并 如 〈3.3) 一 样 定义 了 A，B, …， 





Strassen 的 算法 所 执行 的 7 个 递归 和 矩阵 乘法 : 


H) 
H) 
F) 








0 法 和 减法 操作 之 后 ， 就 可 以 在 




















这 些 信 





Py。 但 是 ， 








这 个 
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令 人 惊奇 的 等 式 给 出 了 肯定 的 答案 。 
EF 





ee | B:GIA:F+B:H 
C-:E+D:GC:F+D:H 

"pt PD 
B+Pp, |P+B -PB-P 




















第 1 个 等 式 是 从 等 式 (3.4) 复制 的 。 对 于 第 2 个 等 式 ， 我 们 需要 检查 这 4 
块 区 域 中 的 每 一 块 所 要 求 的 相等 性 。 为 了 解答 我 们 的 疑虑 , 我 们 可 以 检验 左上 角 
区 域 所 进行 的 疯狂 的 消去 操作 : 




















P+P-P+P=(A4+D):(E+H)+D:(G-E) 
-(A4+B):H+(B-D):(G+H) 
=A:E+A:H+D:E+D:H+D:G 
D:E-A*:H-B:H+B:G 
+B:H-D:G-D:H 
=A:E+B':G 























右 下 角 区 域 的 计算 与 此 类 似 ， 另 两 块 区 域 也 很 容易 验证 其 相等 性 。 因 此 
Strassen 确实 能 够 只 用 7 个 递归 调用 就 完成 矩阵 乘法 ， 另 外 再 加 上 一 些 @ (nw ) 级 
别 的 额外 工作 ! ” 















































3.3.7 ”小 测验 3.3 的 答案 











正确 答案 (ec)。 正 确 答案 是 9 (n )。 它 采用 了 3 层 嵌 套 的 循环 ， 这 将 导致 最 
内 层 的 循环 从 代 了 融 次 ，i, j,ke {1,2,…,n} 的 每 一 个 选择 都 要 进行 一 次 迭代 。 这 
个 算法 在 每 次 迭代 时 执行 常数 级 的 操作 (1 次 乘法 和 1 次 加 法 )。 换 种 思考 方法 ， 
对 于 Z 中 的 zw 个 元 素 中 的 每 一 个 ， 这 个 算法 都 要 花费 @(n) 的 时 间 对 等 式 (3.1) 


















































QD 当然 ， 验 证 算法 的 正确 性 要 比 提出 算法 容易 得 多 。 那 么 ，Volker Strassen 是 怎样 做 到 早 在 1969 年 就 
提出 这 种 算法 呢 ? 下 面 是 他 自己 的 陈述 〈 在 2017 年 6 月 的 一 次 个 人 通信 中 ) : “我 记得 ， 我 当时 认 
识 到 一 种 用 于 某 些 较 小 情况 的 更 快速 非 交 换 性 算法 可 以 实现 更 小 的 指数 。 我 试图 证 明 简单 、 直 接 的 算 
法 对 于 2X2 的 矩阵 是 最 理想 的 。 简 单 起 见 ， 我 采取 了 按 2 取 模 的 做 法 ， 然 后 按照 组 合 的 方式 发 现 了 
更 快 的 算法 。” 



















































































































































































进行 求 值 。 
*3.4 ”O(n log n) 时 间 的 最 近 点 对 ( Closest Pair ) 
算法 

分 治 法 的 最 后 一 个 例子 是 一 个 非常 酪 的 算法 , 用 于 解决 最 近 点 对 的 问题 。 在 
这 个 问题 中 , 平面 上 有 个 点 ,我们 需要 找 出 距离 最 近 的 那 一 对 点 。 这 也 是 我 们 
第 一 次 尝试 计算 几何 学 的 一 个 应 用 。 计 算 几何 学 研究 和 推断 与 操作 几何 对 象 有 关 
的 算法 ， 它 在 机 器 人 、 计 算 机 视觉 和 计算 机 图 形 等 方面 具有 广泛 的 应 用 。? 
3.4.1 问题 


最 近 点 对 问题 所 关注 的 是 平面 上 的 点 (x,y)e R”。 为 了 测量 两 个 点 pi1= Qe,y1) 
和 ps =(x2, yy) 之 间 的 距离 ， 我 们 使 用 常见 的 欧 几 里 德 直线 距离 公式 : 
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d(p,py))= VN -x7 + yy (3.5) 


问题 : 最 近 点 对 
输入 : 平面 上 nn 之 2 个 点 pi = (xX,71),…, p, = (xX,,),) o 
输出 ;点 pi, pj， 它 们 之 间 的 欧 几 里 德 距 离 d(pi, pp) 最 短 。 























方便 起 见 , 我 们 假定 任何 两 个 点 都 不 会 具有 相同 的 x 坐标 或 了 坐标。 读者 可 
以 考虑 对 这 个 算法 进行 扩展 ， 使 它 能 够 适应 相同 坐标 的 情况 。” 

最 近 点 对 问题 可 以 通过 穷 举 搜索 法 在 平方 运行 时 间 内 解决 , 只 要 计算 B(n*) 
对 点 中 的 每 一 对 点 之 间 的 距离 ， 并 返回 它们 之 中 距离 最 小 的 那 对 点 就 可 以 了 。 

在 计算 逆序 对 问题 (第 3.2 节 ) 时 ， 我 们 能 够 通过 分 治 法 改进 平方 级 时 间 的 
穷 举 搜索 算法 。 我 们 在 这 里 是 不 是 也 能 做 得 更 好 ? 
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星 号 的 章节 表示 该 段 内 容 的 难度 较 大 ， 在 第 一 次 阅读 时 可 以 跳 过 。 
现实 世界 的 实现 中 ， 最 近 点 对 算法 并 不 需要 计算 等 式 〈3.5) 中 的 平方 根 ， 具 有 最 小 欧 几 里 德 距离 
和 点 对 与 那 对 具有 最 小 欧 几 里 德 距离 平方 的 点 相同 ， 而 后 面 这 个 数值 显然 更 容易 计算 。 





















































N *3.4 O(n log 由 时 间 的 最 近 点 对 (Closest Pair ) 算法 


3.4.2 热身 : 1D 情 ; 


我 们 首先 考虑 这 个 问题 的 一 维 简 化 版 本 : 








寻找 





























局 R ， 











我 们 已 经 掌握 的 算法 























最 关键 的 一 点 是 , 不 
中 肯定 是 连 着 出 现 的 














对 点 进行 排序 。 











图 3.3)。 


1D 的 最 近 点 对 


对 已 经 排序 的 点 集合 进行 线性 扫描 ， 以 确认 最 近 点 对 。 


段 设 有 n 个 以 任意 顺序 出 现 的 点 
有 最 短 距离 | p, - p, | 的 那 对 点 。 这 种 特殊 情况 很 容易 通过 


在 O(n log nn) 时间 内 解决 。 
管 这 对 最 近 点 是 哪 对 点 , 这 两 个 点 在 点 集合 的 有 序 版 本 


























这 个 算法 的 第 1 个 和 第 2 个 步骤 可 以 在 O(n log n) 时 间 (使 























O(n 时 间 简 








单方 法 ) 内 实现 ， 总 体 运行 时 间 是 O(n log n)。 因 此 ， 在 


况 下 ， 确 实 存在 一 种 优 于 穷 举 搜索 法 的 算法 。 





二 人 一 全 一 人 一 人 一 全 一 > 





区 允 




















3.3 在 








3.4.3” 预 处 理 














首 
代价 很 小 的 基本 操 
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维 情况 下 ， 最 近 点 对 中 的 点 在 点 集合 的 有 序 版 本 中 


和 先 面 临 的 问题 是 我 们 可 以 根据 两 种 不 同 的 4 

















我 们 怎么 使 用 








一 定 在 P, 或 P, 中 是 连续 出 现 的 ( 
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上 


下 
习 最 近 点 对 





























] MergeSort) 和 
维 的 情 



































是 连续 出 现 





FE 序 是 否 有 助 于 我 们 在 O(n log 站 时 间 内 解决 二 维 版 本 的 最 近 点 对 问题 呢 ? 


























标 对 点 进行 排序 。 但 由 于 排序 是 种 
乍 ,为 什么 这 两 种 排序 不 都 试 一 下 昵 ? 也 就 是 说 , 在 一 个 预 处 
理 步 又 中 ， 我 们 的 算法 生成 输入 点 集合 的 两 份 备份 : 一 份 备 份 P. 根 据 x 坐标 对 
点 进行 排序 ， 男 一 份 备份 P, 根 据 y 坐标 对 点 进行 排序 。 这 些 操作 需要 O(n log n) 
对 间 ， 仍 然 在 我 们 所 寻求 的 时 间 上 界 之 内 。 














集 
不 


排序 的 P. 和 P, 呢 ?遗憾 的 是 ， 点 集合 
图 3.4)。 我 们 需要 一 种 比 简 











中 的 最 近 点 对 并 不 
单 的 线性 扫描 更 聪 
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明 的 办 法 。 
二 在 x 坐标 中 最 近 
< pe 
| i | 
7 本 -> 。 
在 ?坐标 中 最 近 


3.4 在 二 维 场景 中 ， 最 近 点 对 中 的 点 并 不 一 定 在 
按 x 坐标 或 ?坐标 排序 的 点 集合 中 连续 出 现 


3.4.4 一 种 分 治 方 法 
































我 们 可 以 用 分 治 法 实现 更 好 的 效果 "。 我 们 应 该 怎样 把 输入 划分 为 更 小 的 子 问 
题 呢 ? 又 应 该 怎样 把 这 些 子 问题 的 结果 组 合 在 一 起 ， 形 成 原始 问题 的 解雇 方案 呢 ? 
对 于 第 一 个 问题 , 我 们 使 用 第 一 个 已 经 排序 的 数组 已 把 输入 数组 划分 为 它 的 左 半 部 
分 和 右 半 部 分 。 如 果 一 对 点 的 两 个 点 都 位 于 点 集合 的 左 半 部 分 ， 这 对 点 就 称 为 左 点 
对 ， 如 果 一 对 点 的 两 个 点 都 位 于 点 集合 的 右 半 部 分 ， 这 对 点 就 称 为 右 点 对 ， 如 果 一 
对 点 的 两 个 点 分 别 属 于 不 同 的 部 分 ， 这 对 点 就 称 为 分 离 点 对 。 例 如 ， 在 图 3.4 的 点 








































































































集合 中 ， 最 近 点 对 是 个 分 离 点 对 ， 在 x 轴 方 向 的 最 近 点 对 是 个 左 点 对 。 








如 果 最 近 点 对 是 左 点 对 或 右 点 对 ， 它 会 被 两 个 递归 调用 中 的 其 中 一 个 递归 
所 确认 。 当 最 近 点 对 是 个 分 离 点 对 时 ， 我 们 就 需要 一 个 特殊 的 子 程序 来 处 理 这 
种 情况 。 这 个 子 程序 所 扮演 的 角色 与 第 3.2 节 的 CountSplitInv 子 程序 所 扮演 好 















































角色 相似 。 























下 面 的 伪 码 对 这 些 思 路 进行 了 总 结 ，ClosestSplitPair 子 程 


实现 。 



































Q( 因此 ， 分 治 法 范式 既 可 用 于 预 处 理 步 又 以 实现 MergeSort， 也 可 用 于 主 算法 。 
































序 在 当前 还 没有 
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ClosestPair ( 预备 版 本 ) 
输入 : 平面 上 nn 宇 2 个 点 集合 的 两 份 备份 P, 和 已 ， 分 别 按 坐标 和 y 坐标 排序 。 


输出 : p;、pj;， 它 们 之 间 的 欧 几 里 德 距离 d(pi, 站 最短。 
// 小 于 等 于 3 个 点 属于 基本 条 件 ， 在 此 忽略 





























1 L。 := Px 的 前 半 部 分 ， 按 x 轴 排 序 

2 L，:= Px 的 前 半 部 分 ， 按 y 轴 排 序 

3 Rx。 := Px 的 后 半 部 分 ， 按 x 轴 排 序 

4 R， := P, 的 后 半 部 分 ， 按 y 轴 排 序 

5 (li, 12) := ClosestPair (Ly,Ly) // 最 近 左 点 对 

6 (ri, r2) := ClosestPair (Ry,Ry) // 最 近 右 点 对 

7 (si，s，) := ClosestSplitPair(Px，Py) // 最 近 分 离 点 对 
8 


return (li，12)，(ri,r2)， (si Sz) 的 最 近 那 对 






































在 被 省 略 的 基本 条 件 中 ， 如 果 一 共 是 2 个 点 或 3 个 点 ， 这 个 算法 就 可 以 在 
O(1) 的 时 间 内 直接 算出 最 近 点 对 。 从 P, 中 推导 出 L 和 R, 是 非常 容易 的 (简单 地 
把 P 对 半分 开 )。 为 了 计算 工 和 R,， 这 个 算法 可 以 对 P, 执 行 一 次 线性 扫描 ， 根 
据点 的 x 化 标 把 每 个 点 放 在 工 , 或 ,的 末尾 ,我 们 的 结论 是 第 1~4 行 代码 可 以 实 
现 O(n) 的 运行 时 间 。 

假设 我 们 已 经 正确 实现 了 ClosestSplitPair 子 程序 , 这 个 算法 就 可 以 算出 最 近 
点 对 ， 第 5~7 行 的 3 个 子 程 序 调用 涵盖 了 最 近 点 对 的 所 有 可 能 。 



































































































































小 测验 3.4 

假设 我 们 正确 地 以 O(n) 时 间 实 现 了 ClosestSplitPair 子 程序 。ClosestPair 算法 的 
总 体 运 行 时 间 是 多 少 ? (选择 适用 的 最 小 上 有 界 ) 

(a) O(n) 

(b) O(n logn) 

(c) Onlogn)) 

(d) O(n’) 

(关于 正确 答案 和 详细 解释 ， 参 见 第 3.4.10 节 ) 














3.4.5 一 个 微妙 的 变化 


小 测验 3.4 的 答案 使 我 们 的 目标 变 得 清晰 : 我 们 需要 ClosestSplitPair 子 程序 
的 O(n) 时 间 的 实现 ， 这 样 可 以 使 总 体 运行 时 间 上 界 达到 O(n log n)， 与 特殊 的 一 
维 情况 下 该 算法 的 运行 时 间 旗 鼓 相当 。 

我 们 将 设计 一 个 稍稍 弱化 的 子 程序 , 它 对 于 实现 我 们 的 目标 已 经 足够 。 下 面 
是 关键 所 在 : 我 们 需要 ClosestSplitPair 子 程序 只 有 在 最 近 点 对 确实 是 分 离 点 对 时 
去 寻找 最 近 点 对 。 如 果 最 近 点 对 是 左 点 对 或 右 点 对 ，ClosestSplitPair 可 以 简单 
返回 一 些 垃圾 信息 。 不 过 ， 第 3.4.4 节 的 伪 码 的 第 8 行将 会 忽略 这 种 情况 下 它 
返回 的 结果 , 而 是 取 其 中 一 个 递归 调用 所 计算 的 实际 最 佳 点 对 。 这 个 放宽 的 正 
性 需求 会 在 我 们 的 算法 中 起 到 至 关 重 要 的 作用 。 

为 了 实现 这 个 思路 , 我 们 将 明确 地 向 ClosestSplitPair 子 程序 传递 属于 左 点 对 

或 右 点 对 的 最 近 点 对 之 间 的 距离 3， 这 样 这 个 子 程序 就 知道 它 只 需要 关心 距离 小 
于 6 的 分 离 点 对 即 可 。 


换 句 话说 ， 我 们 可 以 用 下 面 的 代码 蔡 换 第 3.4.4 节 的 第 7 一 8 行 伪 码 : 
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RN 
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ClosestPair ( 补缺 版 ) 
7 6:= minfdq(li，12)，Q(ri r2)} 
8 (si, Ss2) := ClosestSplitPair(Py, Py, ©O) 
9 return (11, 12), (ri, ED (Si, S2) 的 最 近 那 对 





3.4.6 ClosestSplitPair 

















现在 我 们 可 以 提供 ClosestSplitPair 子 程序 的 实现 ， 使 它 能 够 以 线性 时 间 运 
行 ,并 正确 地 找 出 当 最 近 点 对 为 分 离 点 对 时 的 最 近 点 对 。 读 者 可 能 不 相信 下 面 的 
伪 码 能 够 满足 这 些 要求 , 但 它 确实 做 到 了 。 它 的 高 级 思路 是 为 一 个 精心 限制 的 点 
对 集合 进行 穷 举 搜索 。 

































































3 *3.4 O(n log nn) 时 间 的 最 近 点 对 ( Closest Pair ) 


ClosestSplitPair 


以 及 一 个 参数 5. 


输出 : 当 最 近 点 对 是 分 离 点 对 时 ， 这 个 最 近 点 对 。 








1 Xx := 左 半 部 分 的 最 大 x 坐标 // ee _ _ 
2 Sy := 1{ 点 qi dv…y9g ， 其 x 坐标 位 于 XxX-6 和 xXx+6 ， 按 y 轴 排序 } 
3 best := 0 
4 bestPair := NULL 
5 fori := 1 to 上 -1l do 
6 for j := 1 to min{7, 《-i } do 
7 if d(qi, di+j) < best then 
8 best := (dis is) 
bestPair’ := (qi diay) 





10 return bestPair 


算法 


输入 : 平面 上 nn 宇 2 个 点 集合 分 别 按 x 坐标 和 yy 坐标 排序 的 两 份 备份 P, 和 已， 


























这 个 子 程序 首先 在 第 1 行 确认 这 个 点 集 左 半 部 分 的 最 右边 的 点 ， 





























它 定 义 了 


“中 位 x 坐标 ”x 。 对 于 某 对 点 ， 当 且 仅 当 其 中 一 个 点 的 x 华 标 不 大 于 x 并 且 另 
一 个 点 的 x 坐标 大 于 x 时 ， 这 对 点 就 是 分 离 点 对 。 计 算 x 需 要 常数 级 (0O(1)) 的 











时 间 ， 因 为 P; 中 的 点 是 根据 x 坐标 排序 的 《中 位 点 是 第 w2 个 数组 项 )。 


在 第 2 








行 ， 这 个 子 程序 执行 一 个 过 滤 步 又 ， 把 以 * 为 中 心 、 宽 度 为 26 的 垂直 区 域 之 外 
的 点 都 丢弃 (图 3.5)。 为 了 获取 点 集 %， 可 以 扫描 P, 并 删除 那些 x 坐标 不 在 我 
们 的 兴趣 范围 之 内 的 点 ， 这 个 操作 可 以 在 线性 时 间 内 实现 。” 第 5 一 9 行 对 最 多 






























































并 计算 这 








包含 6 个 点 的 5, 中 的 点 对 进行 穷 举 搜 索 (5, 中 的 点 根据 y 坐标 排序 )， 

















些 点 中 最 近 的 那 对 点 。” 我们 可 以 把 它 看 成 是 一 维 情况 的 算法 的 一 种 扩展 ， 
所 有 “近似 连续 的 ”点 对 。 循 环 迭 代 的 总 数 是 我 们 所 需要 的 小 于 74 和 过 77 = 
































检查 
O(n) 


时 间 。 在 每 次 过 代 中 ,该 算法 所 执行 的 基本 操作 的 数量 是 常数 级 的 。 我们 可 以 得 























出 结论 ，ClosestSplitPair 子 程序 是 以 O(n) 时 间 运 行 的 。 但 是 ， 它 到 底 是 怎么 
最 近 点 对 的 ? 





么 找到 





























G 这 个 步骤 是 我 们 在 初始 的 预 处 理 步骤 中 根据 y 坐标 对 点 集合 进行 一 次 排序 , 使 之 适用 后 面 的 所 有 场合 






































的 原因 。 由 于 我 们 寻求 的 是 一 种 线性 时 间 的 子 程序 ， 因 此 现在 没有 时 间 对 它们 进行 排序 ! 





















































@ ”如 果 不 存在 距离 小 于 x 的 点 对 ， 则 这 个 子 程序 就 返回 NULL。 在 这 种 情况 下 ， 在 ClosestPair 中 ， 这 个 





















































NULL 值 被 忽略 ， 最 终 的 比较 是 在 两 个 递归 调用 所 返回 的 点 对 之 间 进 行 的 。 
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图 3.5 ”ClosestSplitPair 子 程序 。S, 是 在 某 个 垂直 间距 范围 内 的 点 集合 。 
6 是 左 点 对 或 右 点 对 中 的 最 短 距离 。 分 离 点 对 的 两 个 点 分 别 在 虚线 的 两 边 


3.4.7 ”正确 性 









































ClosestSplitPair 子 程 序 的 运行 时 间 是 线性 的 ， 因 为 在 平方 级 数量 的 可 能 点 对 
中 , 它 只 搜索 线性 数量 的 点 对 。 我 们 怎么 知道 它 并 没有 错过 真正 的 最 近 点 对 呢 ? 
下 面 这 个 辅助 结论 有 点 令 人 吃惊 , 它 保证 当 最近 点 对 是 分 离 点 对 时 , 它 的 两 个 点 
在 经 过 过 滤 的 点 集合 5, 中 是 近似 连续 的 。 
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仿 











辅助 结论 3.3 ”在 ClosestSplitPair 子 程 序 中 ， 假 设 (p, 9) 是 个 dp, 9) < 6 的 分 
离 点 对 ， 其 中 6 是 左 点 对 和 右 点 对 中 的 最 短 距 离 。 则 : 


(a) p 和 g 将 被 包含 在 点 集 5, 中 ; 























(b) 最 多 包含 6 个 点 的 5, 会 有 一 个 yy 坐标 位 于 p 和 g 的 y 坐标 之 间 。 

















这 个 辅助 结论 看 上 去 很 不 直观 ， 我 们 将 在 下 一 节 提 供 它 的 证 明 。 辅 助 结论 
3.3 提示 了 ClosestSplitPair 能 够 完成 它 的 任务 。 





















































推论 3.4 当 最 近 点 对 是 个 分 离 点 对 时 ，ClosestSplitPair 子 程序 就 会 返回 这 
个 分 离 点 对 。 





NN *3.4 O(n log 几时 间 的 最 近 点 对 ( Closest Pair ) 算法 











证 明 : 假设 最 近 点 对 (p, g) 是 个 分 离 点 对 ， 因 此 dp, q) <6， 其 中 5 是 左 点 对 和 
右 点 对 中 的 最 短 距离 。 接 着 ， 辅 助 结论 3.3 保证 了 p 和 gq 在 ClosestSplitPair 子 程 
序 中 都 属于 点 集 S,， 并 且 5, 中 最 多 包含 6 个 根据 y 坐标 排序 的 点 。 由 于 
ClosestSplitPair 以 穷 举 方式 对 满足 这 两 个 属性 的 所 有 点 对 进行 搜索 ， 因 此 它 可 以 
找 出 其 中 的 最 近 点 对 ， 而 后 者 必然 是 实际 上 的 最 近 点 对 (p,q)。Q.e.d. 

暂时 搁置 辅助 定理 3.3 的 证 明 后 ,我 们 就 得 到 了 最 近 点 对 问题 的 正确 且 速 度 
惊人 的 算法 。 

定理 3.5 (计算 最 近 点 对 ) 对 于 平面 上 n 宇 2 的 每 个 点 集合 P，ClosestPair 算 
法 能 够 正确 地 计算 P 中 的 最 近 点 对 ， 并 且 它 的 运行 时 间 是 O(n log n)。 


证 明 : 我 们 已 经 论证 了 运行 时 间 上 界 。 这 个 算法 在 预 处 理 步骤 中 花费 O(n log 
n) 的 时 间 ， 这 个 算法 的 剩余 部 分 具有 与 MergeSort 相同 的 渐进 性 运行 时 间 (两 个 
递归 调用 分 别 对 输入 数组 的 左 半 部 分 和 右 半 部 分 进行 操作 , 再 加 上 线性 的 加 法 操 
作 )， 它 也 是 O(n log n)。 

至 于 正确 性 , 如果 最 近 点 对 是 个 左 点 对 , 它 是 由 第 一 个 递归 调用 所 返回 的 (第 
3.4.4 节 的 第 5 行 )。 如 果 它 是 个 右 点 对 , 它 是 由 第 二 个 递归 调用 所 返回 的 (第 3.4.4 
节 的 第 6 行 )。 如 果 它 是 个 分 离 点 对 ， 则 推论 3.4 保证 了 它 是 由 ClosestSplitPair 
子 程序 所 返回 的 。 在 所 有 的 情况 下 , 最 近 点 对 是 该 算法 所 检查 的 3 个 测试 结果 之 
一 (第 3.4.5 节 的 第 9 行 )， 并 作为 最 终 答案 返回 。Q.e.d. 
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3.4.8 辅助 结论 3.3( a ) 的 证 明 
































辅助 结论 3.3 的 〈a) 部 分 的 证 明 比 较 容易 。 假 设 有 一 个 分 离 点 对 (p,qg), p 
位 于 点 集合 的 左 半 部 分 ，9 位 于 右 半 部 分 ， 且 dp, q) 冬 9， 其 中 是 左 点 对 和 右 
点 对 中 的 最 短 距离 。 设 p= Co, 7，9 = (2,y)， 并 且 x 表 示 左 半 部 分 最 右边 的 那 
个 点 。 由 于 p 和 g 分 别 位 于 左 半 部 分 和 右 半 部 分 ， 因 此 x <x<x,。 

同时 ，xl 和 x 的 差别 不 可 能 非常 大 。 从 形式 上 说 ， 根 据 欧 几 里 德 距离 的 定 
义 〈3.5)， 我 们 可 以 采用 下 面 的 写法 : 
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0O>d(P,9) 


= -x ) + (7 一 Jo 
> Vmax{(xn —%) ,0 -1 )} 


=max{|x% —% ,| — 1} 
这 意味 着 p 和 9 在 x 轴 和 yy 轴 的 差 都 小 于 xx: 
[x -Xp -yy,|<o (3.6) 
































由 于 x 三 XxX，x, 最 多 比 x 大 5， 因 此 x 三 x+6”。 由 于 x, 宇 x， 并 且 x 最 多 
比 x 小 65， 因此 x 宇 x-6。 


体 地 说 , p 和 g 的 x 坐标 都 位 于 x-6 和 x+6 之 间 ， 如 图 3.6 所 示 。 所 有 这 
些 的 点 ， 包 括 P 和 9， 都 属于 点 集 5,。 









































图 3.6 ”辅助 结论 3.3 (a) 的 证 明 。p 和 g 的 x 坐标 都 位 于 Xx-6 和 x+5 之 间 


3.4.9 辅助 结论 3.3(b ) 的 证 明 


回顾 我 们 之 前 的 假设 .存在 一 个 分 离 点 对 (p, 9)， 其 中 p=, y1) 位 于 点 集 的 
左 半 部 分 ，g=(x2, y2) 位 于 点 集 的 右 半 部 分 ， 使 得 d(p, q) < 6， 其 中 6 是 左 点 对 和 石 
点 对 中 的 最 短 距离 。 辅 助 结论 3.3 (b) 声称 p 和 gq 不 仅 出 现在 点 集 5, 中 《如 (a) 
部 分 所 证 明 )， 并 且 它 们 是 近似 连续 的 。5, 最 多 包含 6 个 点 ， 它 们 的 y 坐标 位 于 
V1 和 少 之 间 。 

为 了 完成 证 明 , 我 们 在 平面 上 画 了 一 个 2X4 的 网 格 , 每 个 框 的 边 长 为 92( 图 
3.7)。 在 中 位 x 坐标 x 的 两 侧 都 有 两 列 框 。 框 的 底部 是 根据 点 p 和 g 的 y 坐标 的 
较 小 值 对 齐 的 ， 即 y 坐标 为 minQy1, yy)。% 























































































































@ 可 以 想像 p 和 g 是 两 个 人 ， 有 一 根 长 度 为 5 的 绳子 系 在 他 们 的 腰 间 。p 最 多 只 能 向 右 移动 x 的 距离 ， 
这 样 限制 了 gq 的 移动 距离 也 只 有 x+5 (图 3.6) 。 

@ 不 要 忘 了 : 这 些 框 纯粹 是 为 了 说 明 ClosestPair 算法 为 什么 是 正确 的 。 这 个 算法 本 身 对 这 些 框 毫 无 所 知 ， 
它 只 遵循 第 3.4.4 一 3.4.6 节 的 伪 码 。 





























N *3.4 O(n log 由 时 间 的 最 近 点 对 (Closest Pair ) 算法 












































根据 (a)》 部 分 ， 我们 知道 p 和 gq 的 x 坐标 都 位 于 x*-6 和 x+6 之 间 。 具 体 地 
说 ， 假 设 g 具有 最 小 的 y 坐标， 反之 也 是 类 似 。 因 此 ，g 出 现在 底部 那 行 的 某 个 
框 的 底部 (在 右 半 部 分 )。 由 于 p 的 了 坐标 只 可 能 大 于 vd 的 坐标 (参见 图 3.7)， 
因此 p 也 出 现在 其 中 一 个 框 中 在 左 半 部 分 )。5, 中 yy 坐标 位 于 p 和 9 之 间 的 每 
个 点 的 x 坐标 位 于 x-6 和 x+65 之 间 (5, 中 的 点 都 需要 满足 这 个 条 件 )，y 坐标 都 
位 于 多 和 yi1<y+6 之 间 ， 因 此 也 是 位 于 这 8 个 框 的 其 中 之 一 。 



















































































图 3.7 辅助 结论 3.3(b) 的 证 明 。 点 p 和 g 出 现在 8 个 框 的 
其 中 两 个 ， 每 个 框 最 多 只 能 有 一 个 点 



























































读者 可 能 会 担心 ， 这 些 框 中 y 坐标 在 yi! 和 ys 之 间 的 点 太 多 。 为 了 说 明 
情况 不 可 能 发 生 ,我们 可 以 证 明 每 个 框 最 多 不 超过 一 个 点 。 因 此 ,这 8 个 框 
包含 8 个 点 (包括 p 和 g)，5, 中 yy 坐标 在 p 和 g 之 间 的 点 只 可 能 有 6 个 。” 





这 种 
最 多 






































为 什么 每 个 框 最 多 只 有 一 个 点 ?这 就 需要 用 到 我 们 在 第 3.4.5 节 所 讨论 的 内 
容 , 这 个 结论 建立 在 6 是 左 点 对 和 右 点 对 中 的 最 短 距离 这 个 事实 的 基础 上 。 为 了 
引申 出 矛盾 , 假设 某 个 框 具 有 两 个 点 a 和 4b (其 中 一 个 可 能 是 p 或 gq)。 这 个 点 对 
也 许 是 左 点 对 《如 果 这 两 个 点 是 在 前 两 列 )， 也 许 是 右 点 对 《如 果 它 们 位 于 最 后 
两 列 )。a 和 4 可 能 出 现 的 最 远 距 离 就 是 它们 分 别 出 现在 这 个 框 的 两 个 对 角 上 【图 


3.7)， 此 时 根据 毕 达 哥 拉 斯 定理 ( 勾 股 定理 ) %，a 和 4 之 间 的 距离 是 V2 < 5。 
















































































































































































但 是 ， 这 就 与 左 点 对 或 右 点 对 中 的 最 短 距离 不 可 能 小 于 5 这 个 假设 相 矛 盾 。 
这 个 矛盾 意味 着 图 3.7 中 的 8 个 框 中 的 每 个 框 最 多 只 有 一 个 点 。 因 此 ，5, 中 yy 化 
标 位 于 p 和 g 之 间 的 点 最 多 只 有 6 个 。Q.e.d. 















































G 如 果 一 个 点 的 x 坐标 正好 是 x ,那么 把 它 分 配给 靠近 它 左边 的 那个 框 。 其 他 点 如 果 位 于 几 个 框 的 边界 
上 ， 它 可 以 分 配给 其 中 任何 一 个 框 。 
@ 对 于 直角 区， 两 条 直角 边 的 平方 之 和 等 于 斜 边 的 平方 。 
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3.4.10 


小 测验 3.4 的 答案 








正确 答案 : (b)。 正 确 























ClosestPair 





答案 是 O(n log n)。0O(n) 























法 已 经 在 它 的 预 处 理 步 又 中 花费 了 0(n 








并 不 正确 ， 共 ' 因 是 
log nn) 的 时 间 创 建 了 有 序列 











个 原 

















表 P. 和 局 。 这 个 O(n log n) 上 界 的 论据 与 MergeSort 完全 相同 : ClosestPair 算法 


制造 2 个 递归 调用 ,每 个 jj 
调 












































几 用 所 操作 的 子 数组 都 是 原 
] 之 外 执行 O(n) 的 工作 。( 记 得 第 1 一 4 行 和 第 8 行 可 以 在 O(n) 时 间 内 实现 。 











来 的 一 半 , 并 且 在 它 的 递归 








对 于 这 个 小 测验 ， 我 们 假设 ClosestSplitPair 也 是 以 线性 时 间 运 行 的 。) 这 个 模式 


与 我 们 在 第 1.5 节 对 Merg 
行 的 操作 总 量 
最 终 的 运行 时 间 上 界 就 是 


























eSort 所 进行 的 分 析 完 美 地 











O(n log n)。 


3.5 ”本 章 要 扣 











分 治 算法 把 输入 分 割 为 更 小 的 子 问 题 ， 以 递归 




















匹配 ， 因 此 我 们 知道 它 所 执 


是 O(n log n)。 由 于 预 处 理 步 骤 也 是 以 O(n log 四 时 间 运 行 的 ， 所 以 


的 方式 解决 子 问题 ， 并 把 





子 问 题 的 答案 组 合 在 一 起 形成 原始 问题 的 解决 方案 。 









































间 内 计生 





思路 是 通过 一 种 简单 上 





乘法 。 











Strassen 的 低 于 立方 
充分 说 明了 设计 精巧 的 算法 能 够 极 大 地 改进 简单 直接 的 算法 。 
的 分 治 算法 节省 一 个 递归 调用 ， 类 似 于 


在 最 近 点 对 问题 中 ， 输 入 是 平 二 
欧 几 里 德 距离 最 近 的 屠 对 点 。 


有 一 种 高 级 的 分 治 算法 能 够 在 O(n log nn) 时 间 内 解决 最 近 点 对 问题 。 








于 长 度 为 n 的 数组 时 

















计算 一 个 数组 中 逆序 对 的 数量 与 衡量 两 个 有 序列 表 的 相似 性 有 关 。 该 问 
题 的 穷 举 搜索 算法 作 
有 一 种 分 治 算法 建立 在 MergeSort 算法 的 基础 之 上 ， 可 以 在 O(n log 站 时 
逆序 对 的 数量 。 





的 运行 时 间 为 @(n”)。 














时 间 的 矩阵 乘法 分 治 和 外 








法 是 


个 思维 爆发 的 例子 , 它 

















它 的 关键 





























上 的 nn 个 点 
穷 举 搜 索 算法 












































Karatsuba 























， 它 的 目标 是 算出 所 有 点 中 
的 运行 时 间 是 @(o。 








HN 3.6 习题 














问题 3.1 考虑 下 面 这 段 用 于 计算 oo 的 伪 码 ， 其 中 a 和 4b 都 是 正 整 数 。" 


FastPower 
输入 : 正 整 数 a 和 Db， 
输出 : 0 


if b= 1 then 
reLUuEN a 
else 
Ge 2 Bb 
ans := FastPower(c, [b|2.) 
if b is odd then 
return a: ans 
else 


return ans 














假设 在 这 个 问题 中 , 每 个 乘法 和 除法 都 可 以 在 常数 时 间 内 完成 。 这 种 和 




















渐进 性 运行 时 间 是 什么 ? 用 之 的 函数 表示 。 


(a) O(log Db) 





(b) O(Vb) 
(c) ©(D) 


(d) ©@(b logb) 


挑战 题 














法 的 


问题 3.2 假设 有 一 个 包含 n 个 不 同 元 素 的 单 峰 数 组 ， 单 峰 数 组 是 指 它 的 元 
素 一 开始 按 升序 排列 直到 最 大 元 素 ， 然 后 按 降序 排列 。 提 供 一 种 算法 ， 可 以 在 




















O(log nn) 时 间 内 找 出 一 个 单 峰 数组 的 最 大 元 素 。 








@ [zj| 这 种 记 法 表示 “地 板 ” 函 数 ， 它 把 参数 向 下 取 最 接近 的 整数 。 
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问题 3.3 ”有 一 个 包含 nn 个 不 同 整数 的 已 排序 数组 (从 最 小 到 最 大 ), 这 些 整 
数 可 能 是 正 数 , 也 可 能 是 负数 或 零 。 我 们 想 要 确定 是 否 存 在 一 个 索引 满足 40] 
=i。 为 这 个 问题 设计 一 种 您 可 以 想到 的 最 快 算法 。 
问题 3.4( 困难 ) 有 一 个 包含 了 不 同 数 的 nXn 的 网 格 。 如 果 一 个 数 比 它 的 所 
邻居 都 要 小 ， 它 就 是 个 局 部 最 小 数 。( 一 个 数 的 邻居 包括 它 的 正 上 、 正 下 、 磊 
边 和 右边 。 大 多 数 的 数 有 4 个 邻居 ， 边 上 的 数 有 3 个 邻居 ， 四 个 角 上 的 数 只 有 2 
个 邻居 。) 使 用 分 治 算法 设计 范式 计算 局 部 最 小 数 ， 在 数 对 之 间 只 进行 O(n) 级 别 
的 比较 。( 注 意 : 由 于 输入 中 一 共 包含 了 三 个 数 ， 所 以 不 可 能 观察 每 一 个 数 )。 提 
示 : 只 能 在 O(n) 的 时 间 内 完成 对 2X2 的 网 格 的 递归 。】 


编程 题 


问题 3.5 用 自己 喜欢 的 编程 语言 实现 第 3.2 节 对 数组 的 逆序 对 进行 计数 的 
CountInv 算法 。( 关 于 测试 用 例 和 挑战 数据 集 ， 可 以 参阅 www.algorithmsill 


uminated.org。) 














































































































































































































关键 特性 ， 然 后 推导 出 


第 4 


草 @ 


主 方法 








本 章 讨 论 决定 递归 算法 的 运行 时 间 的 “ 黑 盒 ”方法 ， 并 讨论 递归 算法 的 一 些 



































法 的 运行 时 间 上 界 。 这 种 “ 主 方法 ” 























适用 于 读者 所 看 到 

















的 绝 大 多 数 分 治 算法 ， 包 括 Karatsuba 的 整数 相 乘 算法 (第 1.3 节 ) 和 Strassen 
个 更 通用 的 理论 : 





的 条 

















E 阵 相 乘 入 














它 的 3 
算 汶 


1.2 一 1.3 节 )。 这 个 问题 是 要 求 计算 两 个 ”位 整数 相 乘 的 结果 





法 (第 3.3 节 ) "。 本 章 还 将 描述 
对 新 奇 的 算法 思路 进行 适当 的 评估 常常 需要 不 直观 的 数学 分 析 。 
在 第 4.1 节 介 绍 了 递归 过 程 之 后 ,我 们 将 在 第 
并 观察 它 的 6 个 应 用 例子 (第 4.3 节 )。 第 4.4 节 讨 论 了 主 方法 的 说 


著名 情况 背后 的 含义 。 这 个 证 明 非 常 优雅 地 建立 大 




















































































































法 和 





究 中 





4.2 节 提 供 主 方法 的 正式 定义 ， 











分 析 的 基础 之 上 。 


4.1 重 温 整数 乘 ; 














E 明 ,着 重 强 调 
FE 第 1.5 节 对 MergeSort 














为 了 激发 读者 对 主 方法 的 学 习 兴趣 , 我 们 重 温 整 数 相 乘 算法 的 一 些 要 点 《第 








其 蝇 


9 





FP 的 基本 操作 





是 两 个 个 位 整数 的 加 法 或 乘法 。 和 迭代 式 的 小 学 数学 算法 需要 @(o) 的 操作 完成 两 


个 n 位 整数 的 乘法 。 我 们 是 不 是 可 以 用 分 治 法 做 








四 


主 方法 又 称 “ 了 





FE 定理 ”。 





旦 


导 更 好 ? 








第 4 章 主 方法 上 


4.1.1 ReclntMult 算 ; 






































第 1.3 节 的 RecIntMult 算法 把 特定 的 位 数 分 解 为 前 半 部 分 x 和 后 半 部 分 y， 




















从 而 实现 了 更 小 的 子 问题 : x=10”*.a+b，y=10”.:c+tqd), 其 中 a、b、c、d 
都 是 n/2 位 的 整数 (简单 起 见 , 假设 n 是 偶数 )。 例如 ,如 果 x= 1234, 则 ac = 12， 





p=34。 然 后 可 以 得 出 式 (4.1): 














x:y=10".(a:c)+10"?.(a.d+b:c)+b:d (4.1) 
这 样 , 2 个 位 整数 相 乘 的 问题 就 变 成 了 4 对 n/2 位 整数 相 乘 加 上 O(n) 的 额 

外 工作 《追加 适当 数量 的 后 缀 0 以 及 小 学 数学 的 加 法 )。 
这 种 方法 的 正式 描述 是 递归 过 程 ,假设 7(n) 表 示 这 种 递归 算法 将 两 个 位 整 
数 相 乘 所 需要 的 基本 操作 的 最 大 数量 ， 这 个 数量 正 是 我 们 想 要 确定 的 上 界 。 递归 
























































过 程 根据 递归 调用 所 执行 的 操作 数量 来 表示 运行 时 间 上 界 7(n)。RecIntMult 算法 


的 递归 过 程 是 : 





T(n)< 4- 7 + O(n) 
2 递归 调 








Wm 
递归 调用 所 完成 的 工作 





























7 
之 外 所 完成 的 工作 























和 递归 算法 一 样 , 递归 过 程 需要 基本 条 件 , 也 就 是 当 n 的 值 太 小 而 不 再 触发 











递归 调用 时 7T(n) 的 值 。 在 这 个 例子 里 ， 基 
行 一 次 简单 的 乘法 ， 因 此 7(1)= 1。 


4.1.2 Karatsuba 算 


























条 件 就 是 n = 1， 此 时 该 算法 就 只 执 














Karatsuba 用 于 整数 乘法 的 递归 算法 使 














3 了 高 斯 所 发 明 的 一 个 技巧 从 而 节省 














了 一 个 递归 调用 。 这 个 技巧 就 是 递归 地 计 














a 和 c、b 和 4d、atb 和 c+d 的 乘积 ， 





并 通过 (a+pb)(c+d)--ac--bd 这 个 式 子 提取 中 间 系 数 a.d+b.c 。 这 些 信 息 加 上 
一 些 额外 的 基本 操作 ， 足 以 计算 表达 式 (4.1) 右 端 的 值 。 




















小 测验 4.1 


下 面 哪个 递归 过 程 最 好 地 描述 了 用 于 整数 相 乘 的 Karatsuba 算法 ? 


Ca 7 (2]+ow) 























NHN 4.1 温 整 数 乘 ; 


(b)3 .7 二 |+O(0D) 


(c)3:7| 二 |+O0D) 








(d)4:T|—|+O(n) 






































正确 答案 : (b)。 它 对 RecIntMult 算法 的 唯一 改变 是 递归 调用 的 数量 减少 了 





















































一 个 。Karatsuba 算法 在 递归 调用 之 外 所 完成 的 额外 工作 量 确实 更 多 一 些 ， 但 这 
































些 工作 量 是 常数 级 的 ， 在 大 O 表示 法 中 将 被 忽略 。 因 此 ，Karatsuba 算法 的 正确 
递归 过 程 是 























7( 四 所 3: a + O(n) 
2 eo. . 
在 递归 调用 之 外 所 完成 的 工作 




















一 一 一 -一 
递归 调用 所 完成 的 工作 











同样 ， 递 归 的 基本 条 件 是 Fl) = 1 。 


4.1.3 ”比较 递归 过 程 








现在 ， 我 们 还 不 知道 RecIntMult 或 Karatsuba 的 运行 时 间 。 但 是 ， 观 察 它 们 
的 递归 过 程 ， 可 以 看 出 后 者 只 可 能 比 前 者 更 快 。 另 一 个 可 以 用 来 比较 的 是 第 1.5 
节 的 MergeSort 算法 ， 它 的 递归 过 程 是 ; 






































T(n) < 2.7| 二 | + O(n) 
2 "一 一 
在 递归 调用 之 外 所 完成 的 工作 














-一 一 一 一 
递归 调用 所 完成 的 工作 

















其 中 是 需要 排序 的 数组 的 长 度 。 这 个 公式 说 明 RecIntMult 和 Karatsuba 算 
法 的 运行 时 间 上 界 不 可 能 优 于 MergeSort 的 O(n log n)。 除 了 这 些 线索 之 外 ， 我 














@ 从 技术 上 说 ， 对 a +b 和 c+4d 所 执行 的 递归 调用 有 可 能 涉及 (n/2+1) 位 数 。 简 单 起 见 ， 我 们 忽略 这 个 
细节 ， 它 不 会 对 最 终 分 析 产生 影响 。 
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们 对 于 这 两 种 算法 的 运行 时 间 并 无 头绪 。 稍 












































的 答案 。 


大， 其 输 昌 














后 所 讨论 的 主 方法 才 会 提供 这 个 问题 

















4.2 形式 声明 









































主 方法 正 是 我 们 分 析 递 归 算 法 所 需要 的 工具 。 它 将 算法 的 递归 过 程 作为 输 








4.2.1 ”标准 i 


我 们 将 讨论 主 方法 的 一 个 版 本 


形式 如 下 "。 





基本 条 件 : 
递归 条 件 : 


参数 的 具体 含义 如 下 。 

4: 递归 调用 的 数量 。 

b: 输入 长 度 的 收缩 因子 。 

d: “组 合 步骤 ”的 运行 时 间 指 数 。 


对 于 所 有 足够 小 的 n，7(n) 最 多 就 是 个 常数 
对 于 较 大 的 刀 值 ， 














上 就 是 该 算法 的 运行 时 间 上 界 。 


递归 过 程 





























未 准 递归 过 程 , 它 上 共有 3 个 自由 参数 ,其 






































标准 递归 过 程 的 格式 


raser( ro 








个 3 


基本 条 件 。 递归 








标准 递归 过 程 的 基本 条 件 表示 当 输 入 长 度 足够 小 , 不 再 需要 递归 调用 时 ， 需 
要 解决 的 问题 就 可 以 在 O(GD) 时 间 内 解决 。 对 于 我 们 考虑 的 所 有 应 用 ， 都 适用 这 
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© 


























条 件 就 是 算法 执行 递归 调用 , 每 个 递归 调用 对 一 个 输入 长 度 更 








主 方法 的 这 种 表现 











区 式 来 源 于 Sanjoy Dasgupta、Christos Papadimitriou 和 Umesh Vazirani 所 车 的 





Algorithms (McGraw-Hill，2006) 的 第 2 章 。 














从 形式 上 说 ， 存 在 





与 即 无 关 的 正 整数 m 和 c， 对 于 所 有 的 ?和 mm ， 满 足 7(m) 入 c 。 





小 的 子 问 题 〈 是 原 输入 的 2 分 之 1) 进行 操作 ， 
工作 。 例 如 ， 在 MergeSort 算法 中 ， 有 了 两 个 递归 




















YN 4.2 形式 声明 








并 在 递归 调用 之 外 完成 O(n 的 
调用 (a = 2)， 每 个 递归 调用 分 




















别 对 一 个 长 度 为 输入 长 度 一 半 (b=2) 的 数组 





行 操作 ， 并 在 递归 调用 之 外 完 























成 O(n) 的 工作 (4=1)。 一般 而 言 ，a 可 以 是 任意 正 整 数 ，b 可 以 是 任意 大 于 1 





























忘记 4&、 和 4 应 该 是 常数 ， 也 就 是 与 输入 长 度 n 无关 的 数 ”。 这 些 参数 的 典型 值 














的 实数 (如 果 b 三 1， 该 算法 就 不 会 终止 )，q 可 以 是 任意 非 负 实数 ， 其 中 d=0 
表示 在 递归 调用 之 外 只 需要 执行 常数 级 (0O(1)) 的 工作 。 和 往常 一 样 ， 我 们 忽略 
了 把 向 上 取 最 接近 整数 的 细节 , 因为 它 通 常 并 不 会 对 最 终结 论 产生 影响 。 不 要 






























































是 1 (a 和 4q)、2、3 和 4。 如 果 出 现 了 “在 a=n 或 p= 一 的 情况 下 应 用 主 方法 ” 
人 





这 样 的 方法 ， 说 明 主 方法 的 使 用 有 误 。 
标准 递归 过 程 的 一 个 限于 


























一 
































是 每 个 递归 调用 都 对 相同 长 度 的 子 问题 进行 操作 。 


例如 ， 如 果 一 种 递归 算法 的 一 个 递归 调用 对 输入 数组 的 前 三 分 之 一 进行 操作 ， 另 



































一 个 递归 调用 对 输入 数组 的 后 三 分 之 二 进行 操作 , 它 就 不 是 标准 递归 过 程 。 大 多 


























数 《〈 但 不 是 全 部 ) 自然 分 治 算法 都 可 以 产生 标准 递归 过 程 。 











例如 ， 在 MergeSort 算法 中 ， 两 个 递归 调用 都 对 长 度 为 输入 数组 长 度 一 半 的 























子 问题 进行 操作 。 在 递归 式 整 数 相 乘 算法 中 , 递归 调用 所 处 理 的 整数 位 数 总 是 上 

















级 递归 调用 的 一 半 。” 


4.2.2 主 方 法 的 陈述 和 讨论 





























现在 ,我们 可 以 对 主 方法 进行 陈述 ， 它 以 关键 参数 a、b 和 4 的 一 个 函数 形 











式 提供 了 一 个 标准 递归 过 程 的 上 界 。 


定理 4.1( 主 方法 ) 








如 果 TO) 被 定义 为 一 个 标准 递归 过 程 ， 满 足 参数 wa 三 0>1d 三 1， 则 











@ 基本 条 件 和 “O(n")” 记 法 


















































Ph 也 会 忽略 常数 ， 但 主 方法 的 结论 并 不 依赖 于 它们 的 值 。 
@ 主 方法 还 有 更 通用 的 版 本 , 可 以 容纳 范围 更 广 的 递归 过 程 , 但 这 里 所 讨论 的 简单 版 本 对 于 读者 可 能 ii 























到 的 几乎 所 有 的 分 治 算法 都 已 经 足够 。 
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88 第 4 章 主 方法 上 


O(n"logn) ， 如 果 a=pb [情况]] 
T(n)=1 0(n") ， 如 果 a<b” [情况 2] (4.2) 
O(n*%*) ， 如 果 a >bp” [情况 3] 

这 3 种 情况 是 怎么 回 事 ? 为 什么 a 和 pb" 的 相对 值 非常 重要 ? 在 第 二 种 情况 
中 ， 当 最 外 层 递归 调用 已 经 完成 了 O(n 人 ) 量 级 的 工作 的 情况 下 ， 整 个 算法 的 运行 
时 间 还 能 达到 O(n 吗 ? 第 三 种 情况 中 看 上 去 有 些 奇怪 的 运行 时 间 上 界 又 是 怎么 
回 事 ? 在 本 章 结束 时 , 我 们 将 了 解 这 些 问题 的 满意 答案 , 主 方法 的 陈述 看 上 去 就 
像 是 世界 上 最 自然 的 表述 。? 















































































































































关于 对 数 的 更 多 说 明 


定理 4.1 另 一 个 令 人 困 误 的 地 方 在 于 它 在 对 数 用 法 上 的 不 一 致 。 第 三 
种 情况 仔细 说 明了 对 数 的 底 是 b， 也 就 是 在 结果 不 大 于 1 时 nn 可 以 被 b 整 
除 的 次 数 。 但 是 ,第 一 种 情况 根本 没有 指定 对 数 的 底 。 原因 是 任意 两 个 对 


数 函 数 的 区 别 仅 在 于 常数 因子 。 例 如 ， 底 为 2 的 对 数 除 以 对 应 的 自然 对 数 
( 底 为 e 的 对象 ， 其 中 6 = 2.718…… ) 的 结果 总 是 某 个 常数 因子 1/In2 = 
1.44。 在 主 方法 的 第 一 种 情况 中 ， 改 变 对 数 的 底 只 是 改变 这 个 常数 因子 ， 
因此 可 以 很 方便 地 在 大 O 记 法 中 将 其 忽略 。 在 第 三 种 情况 中 ， 对 数 是 以 
指数 的 形式 出 现 的 , 不同 的 常数 因子 会 导致 差别 非常 巨大 的 运行 时 间 上 界 
(如 到 和 7 )1 





4.3 6 个 例子 






























































读者 首次 看 到 主 方法 (定理 4.1) 时 很 难 对 它 产生 直观 的 印象 。 下 面 让 我 们 




















人 定理 4.1 中 的 上 界 形式 是 O(fn)) 而 不 是 @ tn))， 因为 在 我 们 的 递归 过 程 中 , 我 们 只 需要 TCD) 的 上 界 就 
可 以 了 。 如 果 我 们 在 标准 递归 过 程 的 定义 中 用 “=” 蔡 换 “ 硅 ”， 用 @(n) 葵 换 O(n")， 定 理 4.1 中 的 
上 界 就 可 以 用 8(.) 代 蔡 0O(.), 对 这 种 方法 进行 验证 可 以 很 好 地 加 深 读 者 对 第 4.4 节 的 证 明 过 程 的 理解 。 

















































































































通过 6 个 不 同 的 例子 使 它 的 形象 棚 棚 如 生 。 


4.3.1 重 温 
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V 





MergeSort 

















作为 合理 性 检查 的 手段 ,我 们 重 温 一 种 运行 时 间 已 经 知晓 的 算法 MergeSort。 


为 了 应 用 主 方法 ， 


























我 们 需要 做 的 就 是 确定 3 个 自由 参数 的 值 。 这 3 个 参数 分 别 是 


























表示 递归 调用 数量 的 a、 表示 在 递归 调用 之 前 输入 长 度 的 收缩 因子 5b 以 及 表示 在 











递归 调用 之 外 所 完成 的 工作 量 的 上 界 的 指数 4。 在 MergeSort 中 有 2 个 递归 调用 ， 


因此 a = 2。 每 个 i 





















































递归 调用 接受 输入 数组 的 一 半 ， 因 此 b=2。 在 递归 调用 之 外 所 





























完成 的 工作 是 由 Merge 子 程序 所 确定 的 ， 它 的 运行 时 间 是 线性 的 (第 1.5 节 )， 
所 以 4= 11。 因此: 

















太 二 宇和 2! 二 D4 

















它 满 足 主 方法 的 第 一 种 情况 。 插 入 参数 之 后 ， 定 理 4.1 告诉 我 们 MergeSort 
的 运行 时 间 是 O(n log n) = O(n log n)， 与 我 们 在 第 1.5 节 的 分 析 结 果 相 同 。 


4.3.2 ”二 分 搜索 


在 第 二 个 例子 中 ,我 们 考虑 的 问题 是 在 一 个 已 经 排序 的 数组 中 搜索 一 个 特定 
的 元 素 。 例 如 ， 考 虑 在 一 本 很 厚 的 按 姓 名 排序 的 电话 短 中 搜索 自己 的 姓名 ”。 我 
们 可 以 从 一 开始 进行 线性 的 搜索 , 但 这 种 方法 完全 没有 利用 到 电话 敌 已 经 按 姓 名 
排序 这 个 优点 。 更 好 的 方法 是 观察 电话 憩 中 间 位 置 , 然后 根据 情况 搜索 前 半 部 分 
《如 果 中 间 位 置 的 姓名 在 自己 姓名 的 后 面 ) 或 后 半 部 分 〈 如 果 中 间 位 置 的 姓名 在 


























































































































自己 姓名 的 前 面 )。 这 人 分 
搜索 ”。 二 分 搜索 法 的 运行 时 间 是 什么 呢 ? 这 个 问题 很 容易 回答 ， 但 我 们 还 是 通 





































































































我 们 所 考虑 的 所 有 递归 过 程 的 基本 条 件 的 形式 是 标准 递归 过 程 所 要 求 的， 在 这 里 不 会 对 它们 详细 讨论 。 
































OOO 





FE 岁 稍 长 的 读者 应 该 还 知道 电话 簿 的 概念 。 



































如 果 读 者 以 前 没有 





接触 到 这 种 算法 的 代码 ， 可 以 在 自己 所 喜欢 的 编程 入 门 教材 中 学 习 这 块 内 容 。 























小 测验 4.2 
在 二 分 搜索 算法 中 ，a、b 和 d 的 值 分 别 是 什么 呢 ? 
(a) 1，2，0 [情况 1] 
(b) 1，2，1 [情况 2] 
(c) 2，2，0 [情况 3] 
(d) 2，2，1 [情况 1] 
(关于 正确 答案 和 详细 解释 ， 参 见 第 4.3.7 节 ) 








4.3.3 ”整数 乘法 的 递归 算 


现在 我 们 讨论 非常 适合 主 方法 的 内 容 , 就 是 尚未 知道 运行 时 间 上 界 的 分 治 算 
法 。 我 们 首先 从 用 于 整数 乘法 的 RecIntMult 开始 。 第 4.1 节 已 经 描述 了 这 个 算法 
的 正确 递归 过 程 ， 具 体 如 下 : 
























































T(n) <4:. 7 J+om 


由 于 a=4, b=2 并 有 晶 4=1。 因 此 





a=4>2=2!=p" 
结果 满足 主 方法 的 第 三 种 情况 。 在 这 种 情况 中 , 我 们 得 到 的 是 看 上 去 比较 奇 
怪 的 运行 时 间 上 界 O(n"*%")。 代 入 具体 的 参数 值 之 后 , 结果 是 O(n +) = O(n )。 
因此 RecIntMult 算法 的 性 能 与 迭代 式 的 小 学 整数 相 乘 算法 (也 是 使 用 er 级 的 操 
作 数 量 ) 势均力敌 ， 并 没有 更 胜 一 筹 。 


4.3.4 Karatsuba 乘法 

















































































































整数 相 乘 的 分 治 算法 使 用 了 高 斯 所 发 明 的 技巧 从 而 节省 了 一 次 递归 调用 。 正 
如 我 们 在 第 4.1 节 所 看 到 的 那样 ，Karatsuba 算法 的 运行 时 间 是 由 下 面 这 个 递归 过 
程 决 定 的 : 












































它 与 前 一 个 递归 


T(n) < 3.7 2 + O(n) 


过 程 的 区 别 仅 在 于 a 从 4 变 成 了 3 (2 仍然 是 2, q 











我 们 期 望 它 的 运行 时 

















快速 的 解决 方案 。! 




















因此 仍然 满足 主 方法 
OUzog") a OUzoe 7) 三 


因此 , 节省 一 个 递归 调 月 





间 位 于 O(n log 


于 








a=3>2=2!=p’ 
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O(n'™), 











的 第 三 种 情况 ， 但 是 运行 时 间 的 上 界 得 到 了 改善 : 








的 整数 相 乘 算法 是 达 不 到 这 个 速度 的 ! ” 


4.3.5 ”矩阵 乘法 


A 


岳 








3.3 节 讨 论 了 两 个 nXn 的 入 
了 3 种 算法 ， 一 种 是 简单 而 直接 地 迭代 式 算 法 ， 男 
































递归 算法 , 最 后 


数量 (小 测验 3.3)。RecMatMult 算法 把 两 个 输入 矩阵 分 割 为 4 





《每 个 矩阵 分 别 是 原始 和 














归 调 用 ， 并 将 结果 进行 适当 的 组 合 〈 使 用 简单 、 直 接 的 外 





























> 地 而 























(D 有 趣 的 事实 : 在 Python 编程 语言 中 ， 








E 阵 的 四 分 之 一 )， 





























已 在 更 小 的 入 









































n nn 
个 一 x 一 


211 2 



































定 了 7 对 二 x 二 秆 阵 ， 它 们 的 乘积 
































数学 算法 ， 否 则 就 采 








Karatsuba 算法 。 

















以 重新 构建 原始 输入 向 





仍然 是 1 )。 
n) ( 当 a=2 时 ， 如 MergeSort) 和 O(n") ( 当 
a = 4 时 ， 如 RecIntMult) 之 间 。 如 果 读 者 还 是 没有 头绪 ， 可 以 通过 半 





FE 方法 得 到 





能 够 获得 更 优秀 的 运行 时 间 , 而 小 学 三 年 级 所 学 习 


E 阵 相 乘 的 问题 。 和 整数 乘法 一 样 ， 我 们 讨论 
:是 直接 的 RecMatMnult 
是 构思 精巧 的 Strassen 算法 。 迭 代 式 算法 有 @(0o 级 的 操作 
的 矩阵 
E 阵 上 执行 对 应 的 8 个 递 
E 阵 加 法 )。Strassen 算 


E 阵 的 








于 整数 对 象 相 乘 的 内 置 算法 对 于 不 超过 70 位 的 整数 使 




















局 
7 








91 





小 测验 4.3 


(a) O(n’) 和 O(n’) 

(b) Ol) 和 O(n®®") 

(c) Ol) 和 O(n) 

(d) O(n log n) 和 O(n) 

(关于 正确 答案 和 详细 解释 ， 参 见 第 4.3.7 节 ) 





主 方法 为 RecMatMult 和 Strassen 算法 所 确定 的 运行 时 间 上 界 分 别 是 什么 


? 





4.3.6 一 个 虚构 的 递归 过 











在 目前 为 止 的 5 个 例子 中 , 有 两 个 递归 过 程 满足 主 方法 的 第 一 种 情况 ,其 余 
的 都 满足 第 三 种 情况 。 因 此 ， 我 们 很 自然 地 想 看 到 满足 第 二 种 情况 的 递归 过 程 。 















































递归 过 程 : 





T(n) <2. 7 [2 jrow ) 





因此 可 得 a=2<4=22 =pb"。 
































例如 ,假设 有 一 个 与 MergeSort 类 似 的 分 治 算法 ， 它 在 递归 调用 之 外 还 需要 
花费 更 多 的 精力 来 完成 平方 级 而 不 是 线性 的 工作 数量 。 也 就 是 说 ,考虑 下 五 


这 个 


此 时 正好 满足 主 方法 的 第 二 种 情况 ， 因 此 运行 时 间 上 界 是 O09 = O(n")。 这 
看 上 去 有 点 不 太 直 观 。 由 于 MergeSort 算 法 在 两 个 递归 调用 之 外 完成 线性 的 工作 ， 
我 们 可 能 会 预期 加 上 一 个 平方 级 时 间 的 组 合 步骤 后 其 运行 时 间 为 O(n? log n)。 主 



























































方法 告诉 我 们 这 个 预测 高 估 了 上 界 ， 它 给 出 的 是 更 优 的 上 界 Ol )。 引 人 注目 























有 后 续 的 递归 调用 所 增加 的 操作 数量 只 是 常数 级 的 ”。 

















QD 当 我 们 在 第 6 章 讨论 线性 时 间 的 选择 时 ， 会 看 到 主 方法 第 二 个 条 件 的 另 一 个 例子 























的 











是 , 这 意味 着 该 算法 的 运行 时 间 是 由 最 外 层 调用 所 完成 的 工作 数量 所 决定 的 , 所 
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4.3.7 小 测验 4.2~4.3 的 答案 
小 测验 4.2 的 答案 


正确 答案 : (a)。 二 分 搜索 要 么 对 输入 数组 的 左 半 部 分 继续 搜索 ， 要 么 对 右 
半 部 分 继续 搜索 (不 会 同时 对 两 者 进行 搜索 )， 因 此 只 有 1 个 递归 调用 (a=1)。 
这 个 递归 调用 对 输入 数组 的 一 半 进 行 操作 ， 因 此 5 仍然 等 于 2。 在 递归 调用 之 外 ， 
二 分 搜索 所 执行 的 操作 只 是 一 个 比较 (数组 中 间 元 素 的 值 与 被 搜索 元 素 的 值 )， 
以 决定 下 一 步 是 在 数组 的 左 半 部 分 还 是 右 半 部 分 进行 搜索 。 因 此 递归 调用 之 外 的 
工作 量 是 0(1)， 所 以 4= 1。 由 于 a=1=2”=b*， 所 以 还 是 满足 主 方法 的 第 一 种 
情况 ， 所 以 运行 时 间 上 界 是 O(n log n) = O(log n)。 
























































































































































小 测验 4.3 的 答案 











正确 答案 : (b)。 我 们 首先 从 RecMatMult 算法 (第 3.3.4 节 ) 开始 。 假设 T(n) 
表示 该 算法 计算 两 个 nXn 的 矩阵 相 乘 所 执行 的 基本 操作 的 最 大 数量 。 递 归 调用 
的 数量 是 8 个 ， 每 个 递归 调用 对 一 对 x 的 矩阵 进行 操作 ， 因此 b=2。 递归 调 



















































































之 外 所 完成 的 工作 涉及 常数 级 的 矩阵 加 法 ， 因 此 需要 O(r ) 的 运行 时 间 (zw 个 
和 矩阵 中 的 每 个 元 素 都 需要 常数 级 的 时 间 )。 因 此 ， 它 的 递归 过 程 就 是 : 





























re) <8.7 2 jom 








由 于 a=8>4=2*=ps 

它 满足 主 方法 的 第 三 种 情况 , 所 以 运行 时 间 的 上 界 是 O(n**")= O(n*®*)= 
O(n’)。 

Strassen 和 上 面 这 种 递归 算法 的 唯一 区 别 在 于 前 者 的 递归 调用 数量 从 8 个 减 
少 到 7 个 。Strassen 所 执行 的 矩阵 加 法 确实 要 多 于 RecMatMult, 但 增加 的 数量 只 
是 常数 级 的 ， 因 此 4 仍然 等 于 2。 从 而 a=7>4=2 = 5。 

它 仍然 满足 主 方法 的 第 三 种 情况 ， 但 是 它 的 运行 时 间 上 界 得 到 了 明显 的 改 
进 : O(n*%")= O(n )= O0228) 。 
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因此 Strassen 算法 在 渐进 性 方面 确实 要 优 于 简单 直接 的 迭代 式 算法 ! ? 


























*4.4 主 方法 的 证 明 
































本 节 对 主 方法 (定理 4.1) 进行 证 明 。 如 果 7T(n) 是 由 标准 递归 过 程 所 决定 的 ， 
其 形式 如 下 : 


























ro) <a.7(2)r om) 


则 存在 : 








O(n” log n)， 如 果 a =5b” [情况 1] 
T(n)=4 O(n”)， 如 果 a < pb [情况 2] 
O(n )， 如 果 a > 0 [情况 3] 














记 住 这 3 个 自由 参数 的 含义 非常 重要 ， 其 含义 具体 如 下 。 





































































































参数 含义 
a 递归 调用 的 数量 

p 在 递归 调用 中 输入 长 度 的 收缩 因子 

d 在 递归 调用 之 外 所 完成 的 工作 量 的 指数 
4.4.1 前 言 








主 方法 的 证 明 是 重要 的 , 这 并 不 是 因为 我 们 关注 它 自身 形式 的 严谨 性 , 而 是 
因为 它 对 事物 的 来 龙 去 脉 提供 了 基本 的 解释 。 例 如 ， 为 什么 主 方法 要 分 3 种 情况 。 
有 了 这 个 概念 之 后 , 我 们 就 可 以 区 分 主 方法 证 明 中 两 种 类 型 的 内 容 了 。 在 某 些 时 
候 , 我 们 将 求助 于 几何 计算 来 理解 其 过 程 。 这 些 计算 过 程 值得 一 看 , 但 站 在 长 远 






































































































































大 量 的 研究 论文 致力 于 日 益 精 巧 的 矩阵 乘法 , 它们 的 渐进 性 运行 时 间 的 最 坏 情况 也 是 越 来 越 好 《〈 尽 


在 实际 实现 中 存在 很 大 的 常数 因子 )。 当 前 的 世界 记录 是 运行 时 间 上 界 大 约 为 O(n””)， 我 们 所 知 
的 就 是 仍然 有 O(n”) 级 时 间 的 算法 有 待 发 现 。 



























































有 
管 
省 





的 角度 看 并 没有 记 住 它们 的 必要 。 
值得 记 住 的 是 主 方法 的 3 种 情况 的 概念 及 意义 。 
































( 它 在 第 1.5 节 对 MergeSort 算法 的 分 析 过 程 中 发 挥 了 很 好 的 作用 )，3 

















情况 分 别 对 应 于 3 种 不 同类 型 的 递 



































的 概念 理解 通过 反 向 工程 做 到 这 一 点 。 
对 于 正式 的 证 明 ， 我 们 应 该 在 递归 过 程 中 明确 写 




















归 树 。 如 果 读 者 能 够 记 
就 不 需要 再 记忆 主 方法 中 的 运行 时 间 了 。 读 者 随时 可 以 根据 需要 , 按照 


N *4.4 ” 主 方 法 的 证 明 






























































本 证 明 将 使 用 递归 树 方法 
且 这 3 种 

住 这 3 种 情况 的 含义 ， 
自己 对 它 

















基本 条 件 : 7G) 科 c 


递归 条 件 : 对 于 n>1， To) <a7(]ren 


上 所 有 的 常数 因子 : 





(4.3) 





简单 起 见 , 我 们 假设 常数 no 指定 了 当 基 本 条 件 生效 时 浊 








同 的 常数 no 也 差不多 ,我 们 可 以 假设 基本 条 件 中 被 忽略 
项 的 常数 为 同一 个 数 c。 如 果 它 们 是 两 个 不 同 的 常数 ， 
那个 。 最 









































。 最 后 , 我 们 把 注意 力 集中 在 n 是 5 的 整数 次 方 上 。 





值 为 1, 证 明 一 个 不 
的 常数 和 递归 条 件 中 O(n 人 
我 们 可 以 采用 其 中 较 大 的 
递归 条 件 的 证 明 也 类 似 ， 














它 不 需要 额外 的 概念 内 容 ， 只 不 过 它 的 证 明 过 程 比较 见长 乏味 。 





4.4.2 ” 重 温 递归 树 
本 证 明 的 高 级 计划 
归纳 ， 使 它 能 够 涵盖 关键 参数 a、b 和 d 的 其 他 值 。 

















记 














E 常 明显 : 对 MergeSort 〈 第 1.5 节 ) 的 递归 树 参 数 进 行 


住 ， 递 归 树 提供 了 一 种 条 
































理化 的 方法 以 记录 一 种 递归 算法 在 它 的 所 有 递归 调用 中 完成 











的 所 有 工作 。 递 归 树 




















的 节点 对 应 于 递归 调用 , 每 个 节点 的 子 节点 对 应 于 该 节点 所 制造 的 递归 调用 (图 








上 

















4.1)。 因 此 ， 递 归 树 的 根 〈 第 0 层 ) 对 应 于 算法 最 外 层 
4 个 节点 ， 分 别 对 应 于 它 所 制造 的 每 个 递归 调用 ， 接 下 
层 的 叶 节 点 对 应 于 触发 基本 条 件 的 递归 调用 。 


在 我 们 对 MergeSort 所 进行 的 分 析 中 , 我 们 想 要 逐 






































的 递归 调用 ， 第 1 层 具 有 
来 以 此 类 推 。 递 归 树 最 底 























层 计算 递归 





法 所 完成 的 

















工作 。 这 个 计划 需要 理解 两 个 概念 : 某 个 特定 的 递归 
及 每 个 子 问题 的 输入 长 度 。 











层 六 的 不 同 子 问 题 的 数量 以 


95 










第 0 层 
(最 外 层 调 用 ) 


I 
第 1 个 递归 调用 


第 层 CO] … 站 Fy 


OOOOOOOOOOOOOOOO 
第 log, n 层 : A 




















图 4.1 递归 树 对 应 于 一 个 标准 的 递归 过 程 。 节 点 对 应 于 递归 调用 。 第 0 层 对 应 于 最 外 层 调用 ， 
第 1 层 对 应 于 它 制 造 的 递归 调用 ， 接 下 来 以 此 类 推 





















































小 测验 4.4 
模式 是 什么 ? 在 下 面 的 空白 处 填空 ; 在 递归 树 的 每 一 层 j= 0, 1, 2,…， 都 有 
个 子 问题 ， 每 个 子 问 题 都 对 一 个 长 度 为 的 子 数组 进行 操作 。 
(a) 分 别 是 a 和 n/a 
(b) 分 别 是 a 和 nm/b 
(c) 分 别 是 DV 和 n/a 
(d) 分 别 是 如 和 nm/b 
(关于 正确 答案 和 详细 解释 ， 参 见 第 4.4.10 节 ) 








4.4.3 ” 单 层 所 完成 的 工作 


受 MergeSort 分 析 的 启发 ， 我 们 的 计划 是 用 一 种 分 治 算法 对 第 j 层 子 问题 所 
执行 的 操作 数量 进行 统计 ,然后 把 它 累 加 上 所 有 层次 的 工作 上 。 现 在 , 我 们 重点 
观察 递归 树 的 第 j 层 。 根据 小 测验 4.4 的 答案 , 第 j 层 一 共有 w 个 不 同 的 子 问题 ， 
每 个 子 问 题 的 输入 长 度 为 n/b'。 
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我 们 只 关心 子 问题 的 长 度 , 因为 它 决 定 了 递归 调用 所 完成 的 工作 量 。 我 们 的 
递归 过 程 (4.3) 表示 第 j 层 子 问 题 所 完成 的 工作 (不 包括 它 制造 的 递归 调用 所 完 
成 的 工作 ) 最 多 不 超过 输入 长 度 的 4 次 方 的 常数 倍 : c(n/5)。 把 第 j 层 所 有 a 
个 子 问题 累加 起 来 就 得 到 递归 树 的 第 7 层 所 完成 的 工作 量 的 上 界 : 
























































每 个 子 问题 的 工作 
ee 


第 j 层 的 工作 过 a | 


二 7 
子 问题 的 
输入 长 度 








我 们 把 依赖 于 第 j 层 的 内 容 与 不 依赖 第 j 层 的 内 容 分 离开 来 ， 对 这 个 表达 式 
进行 简化 : 


























第 / 层 的 工作 <en' | 各 | 






































` 等 式 的 右 端 最 引 人 注 目的 是 a/5” 这 个 关键 比率 。a 与 六 的 比值 正好 决定 了 
其 结果 符合 主 方法 的 哪 种 情况 ， 所 以 不 需要 对 分 析 过 程 中 明确 出 现 这 个 比率 而 感 









































4.4.4 各 层 累 计 


共有 多 少 层 呢 ?输入 长 度 最 初 是 n， 它 在 每 一 层 的 收缩 因子 是 5。 由 于 我 
们 假定 n 是 5 的 整数 次 方 ， 当 长 度 为 1 时 就 满足 基本 条 件 , 因此 递归 树 的 层次 正 
好 就 是 n 不 断 除 以 5 结果 为 1 时 的 次 数 ， 也 就 是 logyn。 把 j = 0, 1, 2, …, logon 
的 所 有 层 的 工作 相 加 就 可 以 推导 出 下 面 这 个 神秘 的 运行 时 间 上 界 (到 与 六 无 关 ): 















































log, n 了 
全 部 工作 <on' 学 | 吉 | (4.4) 
J=0 





不 管 你 是 否 相信 ， 我 们 已 经 达成 了 证 明 主 方法 的 一 个 重要 里 程 碑 。 不 等 式 
(4.4) 的 右 端 看 上 去 有 点 像 神秘 的 字母 “大 杂烩 ”， 但 是 通过 适当 的 解释 ， 它 正 
是 我 们 深入 理解 主 方法 的 关键 。 
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4.4.5 正义 与 那 乏 : 需要 考虑 3 种 情 ) 


接 下 来 我 们 讨论 不 等 式 〈4.4) 的 运行 时 间 上 界 的 一 些 概念 ， 并 对 主 方法 中 
的 运行 时 间 上 界 的 来 龙 去 肪 培养 一 些 直 观 的 感觉 。 


为 什么 a 与 多 这 个 比率 非常 重要 呢 ? 从 根本 上 说 ， 这 个 比率 代表 了 “正义 
量 ” 和 “ 那 恶 力量 ”之 间 的 激烈 竞争 “ 那 恶 力量 ”的 代表 是 wa， 也 就 是 每 个 
AS 页 增殖 率 (RSP)， 它 是 子 问题 数量 爆炸 性 增长 的 扩张 因子 ， 是 颇 
为 吓人 的 “正义 力量 ”的 代表 是 pz?， 也 就 是 工作 量 的 收缩 率 (RWS)。 我 们 得 
到 的 好 消息 是 在 递归 的 每 一 层 ， 每 个 子 问 题 的 工作 量 都 会 根据 收缩 因子 br? 进行 
缩减 。” 于 是 ， 关 键 问题 就 变 成 了 : 
哪 一 方 会 获得 胜利 呢 ， 是 “正义 方 ” 还 是 “ 政 恶 方 ”? 主 方法 的 3 种 情况 准 
确 对 应 于 这 场 激 烈 竞 争 的 3 种 可 能 结果 : 平局 (RSP = RWS)、“ 正 义 方 ” 获 胜 (RSP 
< RWS) 或 “邪恶 方 ” 获 胜 (RSP > RWS)。 

为 了 更 好 地 理解 这 个 概念 ,我 们 可 以 花 点 时 间 考 虑 递归 树 的 每 一 层 所 完成 的 
工作 量 〈 如 图 4.1 所 示 )。 

什么 情况 下 递归 树 的 第 7 层 所 完成 的 工作 量 会 大 于 上 一 层 ? 什么 情况 会 小 于 
前 一 层 ? 有 没有 可 能 每 一 层 所 完成 的 工作 量 都 是 相同 的 ? 

















































































































































































































小 测验 4.5 
下 面 这 些 说 法 哪些 是 正确 的 ? (选择 所 有 正确 的 说 法 ) 
(a) 如 果 RSP<RWS， 则 递归 层次 越 深 ， 它 所 完成 的 工作 量 就 越 
we 
(c) 除非 RSP RWS， 否 则 无 法 推断 递归 层 j 的 工作 量 的 变化 。 
(d) 如 果 RSP = RWS， 则 每 个 递归 层 所 完成 的 工作 量 都 是 相同 的 。 
(关于 正确 答案 和 详细 解释 ， 参 见 第 4.4.10 节 ) 




















@ 为 什么 是 以 而 不 是 5b? 因为 5 是 输入 长 度 的 收缩 率 , 我 们 关心 输入 长 度 只 是 因为 它 决 定 了 被 完成 的 工 
作 。 例 如 ， 在 一 个 具有 平方 时 间 组 合 步 又 (4 =2) 的 分 治 算法 中 ， 当 输入 长 度 对 半 划 分 时 (b=2) ， 
解决 每 个 更 小 的 子 问 题 所 需要 的 工作 只 有 原来 的 25% (因为 B=4) 。 
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4.4.6 ”预告 运行 时 间 上 界 


现在 , 我 们 理解 了 主 方法 为 什么 会 有 3 种 情况 。 它 们 是 3 种 从 根本 上 不 同类 
型 的 递归 树 : 一 种 是 每 层 的 工作 量 保持 不 变 , 一 种 是 工作 量 逐 层 递 减 ,， 还 有 一 种 
是 工作 量 逐 层 递 增 。a (RSP) 和 bp* (RWS) 的 相对 大 小 决定 了 分 治 算法 的 递归 
树 类 型 。 

更 奇妙 的 是 ,我 们 现在 有 了 足够 直观 的 感觉 对 主 方法 中 所 出 现 的 运行 时 间 上 
界 进行 准确 的 预告 。 考 虑 第 一 种 情况 ， 当 wa = 多 时 ， 算 法 在 递归 树 的 每 一 层 执行 
相同 的 工作 量 。 我 们 当然 知道 在 递归 树 的 根 即 第 0 层 所 完成 的 工作 量 , 它 是 在 递 
归 过 程 中 明确 指定 的 O09。 因 为 每 一 层 都 完成 O(n 的 工作 , 并 且 一 共有 1 + logu 
n= O(log n) 层 ， 因 此 我 们 可 以 期 望 在 这 种 情况 下 运行 时 间 的 上 界 为 O(n log 门 ， 
正好 符合 定理 4.1 的 第 一 种 情况 的 运行 时 间 上 界 。 

在 第 二 种 情况 中 ，a < 多 ， 正 义 方 取得 了 胜利 ， 每 一 层 所 完成 的 工作 量 是 随 
着 层次 的 加 深 而 递减 的 。 因此 第 0 层 所 完成 的 工作 要 多 于 其 他 任何 层 。 我 们 可 以 
期 望 的 最 简单 和 最 好 的 结果 是 递归 树 的 根 所 完成 的 工作 量 决定 了 该 算法 的 运行 
时 间 。 由 于 递归 树 的 根 一 共 完成 O(n 中 的 工作 ， 因 此 这 个 最 佳 场景 能 够 实现 总 体 
运行 时 间 的 上 界 为 O(n 中 ， 正 好 符合 定理 4.1 的 第 二 种 情况 的 运行 时 间 上 界 。 

在 第 三 种 情况 中 , 当 子 问题 的 增殖 速度 快 于 子 问 题 的 工作 量 缩减 速度 时 , 每 
一 层 所 完成 的 工作 量 随 着 递归 层次 的 加 深 而 不 断 增加 , 递归 树 的 叶 节 点 所 在 层 所 
完成 的 工作 量 是 最 多 的 。 同样 , 最 简单 和 最 好 的 场景 是 运行 时 间 上 界 是 由 叶 节 点 
所 在 层 决 定 的 。 叶 节点 对 应 于 触发 基本 条 件 的 递归 调用 , 因此 每 个 叶 节点 只 执行 
O(1) 的 操作 。 

共有 多 少 个 叶 节 点 呢 ? 根 据 小 测验 4.4 的 解决 方案 ,我 们 知道 j 层 有 wa 个 
节点 。 叶 节点 都 位 于 最 后 一 层 即 二 logs n 层 ， 因 此 一 共有 a*%" 个 叶 节 点 。 因 此 ， 
在 最 佳 场景 下 ， 运 行 时 间 上 界 为 O(a"”)。 

剩 下 来 有 待 解析 的 神秘 之 处 是 我 们 对 主 方法 的 第 三 种 情况 所 预告 的 运行 时 
间 上 界 O(a"*”) 与 定理 4.1 所 出 现 的 实际 上 界 O(n”)) 之 间 的 联系 。 这 个 联 
系 是 : 它们 实际 上 是 相同 的 ! 下 面 这 个 等 式 
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Aas” 三 1110gp 4 
更 直观 更 易于 使 | 

















看 上 去 很 像 是 新 学 代数 的 学 生 所 犯 的 低级 错误 ， 但 它 实际 上 是 正确 的 "。 因 此 运 
行 时 间 上 界 (O(n*%")) 表示 递归 树 的 叶 节 点 层 所 完成 的 工作 决定 了 运行 时 间 上 


























界 ， 采 取 这 种 形式 是 为 了 方便 插入 参数 〈 就 如 第 4.3 节 所 分 析 的 整数 相 乘 和 抢 阵 

















相 乘 算法 )。 











4.4.7 最 后 的 计算 : 第 一 种 情 ; 


我 们 仍然 需要 验证 前 一 节 的 直觉 实际 上 是 正确 的 , 完成 这 个 任务 就 要 通过 形 








式 证 明 。 
































前 面 这 些 计算 累加 起 来 所 得 到 的 是 下 面 这 个 看 上 去 有 点 吓人 的 分 治 算法 运 
行 时 间 上 界 ， 它 以 参数 a、b 和 4 的 函数 形式 出 现 : 























ogp n 了 
总 工作 量 拟 cn. 》 团 (4.5) 


i=0 








我 们 分 析 递 归 树 某 个 特定 的 第 7 





民 的 工作 量 (包括 它 的 w% 个 子 问题 和 每 个 子 








问题 需要 完成 的 c(n/5》 的 工作 量 )， 然 后 把 各 层 的 结果 累加 得 到 这 个 上 界 。 














当 “ 正 义 力 量 ” 和 “ 那 恶 力量 











3? 











处 于 完美 的 平衡 时 ( 即 a = 如 )， 算 法 在 每 





层 所 执行 的 工作 量 相同 ， 不 等 式 〈4.5) 的 右边 可 以 戏剧 性 地 简化 为 : 








其 结果 就 是 O0 logn)。® 





GD 为 了 验证 这 个 等 式 , 可 以 对 两 边 取 底 为 5 的 对 
































J 


=cn’*(1+1+.…+1) 
Ne 


(1l+logp n) 个 


数 : log,(a™*”)=log, nlog, a= log, a:log, n= log,(n™™)。 





(由 于 logs 是 个 严格 递增 的 函数 ， 所 以 只 有 当 x 和 y 相等 时 logs x 和 logsy 才能 相等 。) 























大 














@ 记 住 ， 由 于 不 同 算法 函数 的 区 别 在 于 常数 





























子 ， 所 以 不 需要 指定 对 数 的 底 。 


4.4.8” 寺 回 之 旅 : 几何 级 数 


我 们 希望 对 了 











F 第 二 种 和 第 三 种 类 型 的 递归 树 ( 工 
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Se: 


作 量 分 别 是 逐 层 递减 和 逐 层 











递增 )， 它 们 的 总 体 运 行 时 间 是 上 
层 ) 决定 的 。 要 想 让 这 个 希望 成 为 现实 , 我 











日 难度 最 大 的 那 





慨 《〈 分 别 是 根 节点 层 和 叶 节 点 
E 解 几何 级 数 。 所 谓 几 何 级 数 ， 


S 








门 需 要 到 























中 了 是 某 个 实数 , 大 是 某 个 








再 7 大 7 





就 是 指 具有 “1 +r 二 天 + … 区 式 的 


非 负 整数 。( 对 我 们 来 说 ,x 的 值 就 是 关键 


























化 表达 式 时 ， 事 先 想 好 一 对 经 典 参数 值 是 种 很 好 的 思路 。 例 如 ， 如 果 r=2， 











达 式 ， 
上 率 wp4。 





) 当 我 们 看 到 像 这 样 的 参数 











它 















































就 是 2 的 正 整数 次 方 之 和 : 1 +2+4+8 十 … +24。 当 = 1/2 时 ， 它 就 是 2 的 负 
、 1] 1 1 1 
整数 次 方 之 和 :，1+ 二 + 二 上 十 二 十 …. 5 
2 可 
当 ” 关 1 时， 几何 级 别 有 一 个 非常 实用 的 推导 公式 ”: 
Rt 
1+ri+r + WL (4.6) 
l—r 
我 们 可 以 从 这 个 公式 中 推导 出 两 个 非常 重要 的 结论 。 首 先 ， 当 x<1 时 ， 
I++ 5 一 为 一 个 常数 (与 上 无 关 )。 
5 rt 




















它 的 第 一 项 所 决定 的 。 如 果 第 一 项 是 








因此 ， 每 个 满足 x < 1 的 几何 级 数 是 | 





1， 则 它 的 和 也 就 是 0(1)。 例 如 ， 不 管 累加 了 1/2 的 多 少 个 整数 次 方 ， 最 终 的 和 


/ 





绝 不 会 大 于 2。 


其 次 ， 当 y>1 时 ， 


















































| k+l 
1 于 二 让 二. 半 二 hh ye 
7 一 ] r—l 7 一 ] 
因此 ， 每 个 满足 xr > 1 的 几何 级 数 是 由 它 的 最 后 一 项 所 决定 的 。 如 果 最 后 一 
项 是 愉 ， 则 这 个 几何 级 数 的 和 最 多 就 是 一 个 常数 因子 (x/(1 一 1)) 与 它 的 乘积 。 例 
如 ， 把 2 的 整数 次 方 累加 到 1024， 最 终 的 和 小 于 2048。 
G@ 为 了 验证 这 个 等 式 ， 可 以 将 两 边 都 乘 以 1-7r，(1-7r)(L+7r+ 姑 + 十 内 =1-7 二 7 一 天 十 天 一 记 十 用 
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4.4.9 最 后 的 计算 : 第 二 种 情况 和 第 三 种 情 ; 


回 到 我 们 对 不 等 式 (4.5) 的 分 析 ， 假设 a< 5b。 在 这 种 情况 下 ， 子 问题 的 增 
殖 速度 赶不上 每 个 子 问题 的 工作 量 的 缩减 速度 , 因此 每 一 层 的 工作 量 随 着 递归 树 
层次 的 加 深 而 不 断 递 减 。 设 > = a/b"， 由 于 a、b、4d 都 是 常数 (与 输入 长 度 n 无 
关 )， 所 以 x 也 是 常数 。 由 于 + < 1， 不 等 式 (4.5) 中 的 几何 级 数 最 大 就 是 常数 
1/(1 一 7)， 因 此 不 等 式 (4.5) 的 上 界 就 变 成 了 : 















































logpn 
c114 ， > r’ = O(n") 
j=0 


二 
O(0 








大 0 表达 式 忽略 了 常数 e 和 JI- 力 。 这 就 证 明了 我 们 所 希望 的 结果 ， 在 
第 二 种 类 型 的 递归 树 中 ， 算 法 所 完成 的 总 工作 量 是 由 树 的 根 所 完成 的 工作 量 决 
定 的 。 

对 于 最 后 一 种 情况 ， 假 设 a> yr， 此 时 子 问 题 的 增殖 速度 超过 了 子 问 题 的 工 
作 量 的 缩减 速度 。 设 "= wb， 由 于 7 现在 大 于 1， 所 以 几何 级 数 的 最 终 项 决定 了 
它 的 和 ， 因 此 不 等 式 (4.5) 中 的 上 界 就 变 成 了 : 
































logpn logpn 
ca”: > r’ = O(n :1%")= ol 加 | (4.7) 
j=0 


这 
O(rlog, n) 








等 式 (4.7) 看 上 去 有 点 杂乱 ， 不 过 只 要 注意 到 其 中 一 些 明 显 可 以 约 去 的 项 ， 
结果 就 会 清晰 很 多 。 由 于 5b 的 指数 和 以 为 底 的 对 数 是 互 逆 操 作 , 我 们 可 以 采用 
下 面 的 写法 : 
























































(pb™ ) no pb- lg no (Ds n js 至 nd 


因此 , 等 式 (4.7) 中 的 (4/5 )*%” 项 可 以 约 去 n* 项 , 这 样 上 界 就 成 了 O(a"%")， 
它 证 明了 我 们 所 希望 的 结果 ， 即 这 种 情况 下 总 运行 时 间 是 由 递归 树 的 叶 节 点 层 的 
工作 量 所 决定 的 。 由 于 a"%" 和 nlog, a 是 相同 的 ， 所 以 我 们 就 完成 了 主 方法 的 证 
明 。Q.e.d. 
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4.4.10 小 测验 4.4~4.5 的 答案 


小 测验 4.4 的 答案 








正确 答案 (pb)。 首 先 根据 定义 ， 递 归 树 的 “分 枝 因 子 ” 是 a， 每 个 不 触发 基 
本 条 件 的 递归 调用 会 制造 一 个 新 的 递归 调用 。 这 意味 着 不 同 子 问 题 的 数量 在 每 
层 都 要 乘 以 ac。 由 于 第 0 层 只 有 1 个子 问题 ,所 以 第 j 层 共有 a 个 子 问 题 。 

对 于 答案 的 第 二 部 分 ， 还 是 按照 定义 ， 每 一 层 的 子 问题 的 输入 长 度 是 根据 
这 个 因子 收缩 的 。 由 于 第 0 层 的 问题 输入 长 度 是 nx， 因此 第 j 层 的 所 有 子 问题 的 
输入 长 度 都 是 wy。” 























































































































小 测验 4.5 的 答案 


正确 答案 Ca)、(b)、(d)。 首 先 假设 RSP < RWS， 这 样 “ 正 义 力 量 ” 就 强 
于 “ 那 恶 力量 ”， 每 个 子 问题 工作 量 的 缩减 速度 快 于 子 问题 的 增殖 速度 。 在 这 种 
青 况 下 ， 该 算法 所 完成 的 工作 量 是 逐 层 递减 的 。 因 此 ， 第 一 个 声明 是 正确 的 《〈 因 
此 第 三 个 声明 是 错误 的 )。 由 于 相似 的 原因 ， 第 二 个 声明 也 是 正确 的 ， 如 果子 问 
题 的 增殖 速度 快 于 子 问 题 需要 完成 的 工作 量 的 缩减 速度 , 该 算法 完成 的 工作 量 就 
逐 层 递增 。 在 最 后 一 个 声明 中 ， 当 RSP= RWS 时 ,“ 正 义 力 量 ” 和 “ 政 恶 力量 ” 
之 间 达 成 了 完美 的 平衡 。 子 问题 的 数量 不 断 地 增加 , 但 是 每 个 子 问题 所 完成 的 工 
乍 量 也 按照 相同 的 速率 缩减 。 这 两 股 力量 相互 抵消 , 因此 递归 树 的 每 一 层 所 完成 
的 工作 量 都 是 相同 的 。 






































了 让 





































































































4.5 ”本 章 要 后 











。 递归 过 程 根据 递归 调用 所 执行 的 操作 数量 表示 运行 时 间 上 界 T(n)。 











QD 与 MergeSort 的 分 析 不 同 ， 第 j 层 的 子 问 题 数 量 是 w 并 不 意味 着 每 个 子 问题 的 输入 长 度 是 ww 。 在 
MergeSort 中 ， 第 7 层 子 问题 的 输入 拼合 起 来 正好 是 原始 输入 ， 这 与 许多 其 他 分 治 算法 并 不 相同 。 例 
如 , 在 我 们 的 递归 整数 相 乘 算法 和 和 矩 阵 相 乘 算法 中 , 原始 输入 的 各 个 部 分 会 在 不 同 的 递归 调用 中 被 重 

使 用 。 











































































































问题 4.1 
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标准 递归 过 程 70n) < a7 到]+ O(n 是 由 3 个 参数 所 定义 的 : 表示 北上 滑 





用 数量 的 a、 表示 输入 长 度 收缩 因 
主 方法 为 每 个 标准 递归 过 程 提供 了 
bp 和 4 的 函数 : 如 果 a= pb"， 则 
函数 是 O(n 中， 如 果 a > 5b*， 则 i 











b 








子 的 2 和 组 合 步骤 


























个 渐 








性 上 界 。 





它 的 形式 是 一 
该 函数 是 O(n log n); 如 果 a < 如， 则 该 
玄 函 数 是 O(n )。 





的 运行 时 间 的 指数 4。 


个 a、 


特殊 例子 包括 MergeSort 的 O(n log n)、Karatsuba 的 O(n1””) 和 Strassen 


的 On!) 

















主 方法 的 证 明 是 对 用 于 分 析 MergeSort 的 递归 树 参数 3 











a 和 br” 这 两 个 量 分 


量 ”( 工 作 量 的 收缩 率 )。 


























主 方法 的 3 











别 表 示 “ 政 恶 











上 县. 


量 “ (了 竹 


3 情况 对 应 于 3 种 不 同类 型 的 递归 树 : 
工作 的 递归 树 “正义 方 ” 和 “ 那 恶 方 ” 打 成 平局 ) 工作 量 逐 











行 归 纳 。 





问题 的 增殖 速率 ) 和 “正义 力 




















义 方 ”取得 胜利 ) 工作 量 逐 层 递增 (“邪恶 方 ” 取 得 胜利 )。 





于 


几何 级 数 的 属 


遍 














情 





























况 下 的 总 体 运行 时 间 ， 而 叶 节 点 所 在 层 完成 的 工作 


O(n )) 决定 了 第 三 种 情况 下 的 总 体 运行 时 间 。 


法 可 以 最 好 地 描述 bp”? 
(a) 总 工作 量 的 增长 率 〈 在 递归 的 每 一 层 )。 
(b) 子 问题 数量 的 增长 率 〈 在 递归 的 每 一 层 )。 

















三 
时 














(c) 子 问 题 的 输入 长 度 的 收缩 率 〈 在 递归 的 每 


一 层 )。 








(d) 每 个 子 问题 的 工作 量 的 收缩 率 〈 在 递归 





的 每 一 层 )。 


层 完 成 相同 数量 
层 递 减 “下 


性 提示 递归 树 的 根 所 完成 的 工作 量 (O(n 四 ) 决定 了 第 二 种 
(O( as") = 


回顾 主 方法 (定理 4.1) 和 它 的 3 个 参数 a、b 和 4。 下 面 哪 种 说 


NHN 4.6 习题 

















问题 4.2 接 下 来 的 3 个 问题 提供 了 主 方法 的 进一步 实践 。 假 设 一 种 算法 的 





























运行 时 间 7(n) 是 由 一 个 标准 递归 过 程 7(n) 三 7- 7 人 +O02) 确定 上 界 的 。 下 面 























哪个 是 该 算法 正确 的 渐进 性 运行 时 间 的 最 小 上 界 ? 


(a) O(n log n) 














(b) O(n’) 
(¢) O(n’ log n) 
(d) On!) 


问题 4.3 ”假设 一 种 算法 的 运行 时 间 7T(n) 是 由 一 个 标准 递归 过 程 















































7 四 三 9.7 中 + 确定 上 界 的 。 下 面 哪个 是 该 算法 正确 的 渐进 性 运行 时 间 
的 最 小 上 界 ? 

(a) O(n logn) 

(b) O(n’) 

(c) O(n logn) 

(d) OO 


问题 4.4 假设 一 种 算法 的 运行 时 间 7T(n) 是 由 一 个 标准 递归 过 程 






























































7 三 572]+ 0 确定 上 界 的 。 下 面 哪个 是 该 算法 正确 的 渐进 性 运行 时 间 的 
最 小 上 界 ? 

(a) O(1zo 3) 

(b) O(n log 门 

(c) O(n®s 5) 

(d) O(n’’) 


(e) O(n’) 
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(f) Om ™) 
挑战 题 


问题 4.5 ”假设 一 种 算法 的 运行 时 间 7(n) 是 由 ( 非 标 准 〉 递归 过 程 7(1) = 1 






































和 TD 入 | Vn |+1 ( 当 n>1 时 ) "确定 上 界 的 。 下 面 哪个 是 该 算法 正确 的 渐进 性 














运行 时 间 的 最 小 上 界 ? 【注意 ， 此 时 主 方法 不 再 适用 !】 
(a) O01) 














(b) O(log logn) 
(ce) O(log n) 


(d) O(Vn) 











@ ”|x | 表示 “地 板 ”函数 ， 它 把 参数 向 下 取 最 接近 的 整数 。 


大 人 


中 


5 章 @ 


快速 排序 ( QuickSort ) 


本 章 讨 论 快速 排序 (QuickSort)。 如 果 要 提 
该 能 够 第 一 批 入 选 。 在 高 级 
我 们 讨论 怎样 在 线性 时 间 内 根据 一 个 “基准 (pivot) 元 素 ” 对 数组 进行 划分 (第 














5.2 节 )， 


并 





QuickSort, 


为 O(n log n)。 第 5.6 节 计 





























如 果 询 问 专 业 的 计 息 
名 前 十 的 算法 是 哪些 ， 我 们 会 发 现 Qui 
会 这 样 ? 我 们 已 经 知道 了 一 


需要 另 一 





更 快 ， 从 而 为 











讨论 如 何 选择 恨 好 的 基 认 


F 序 的 讨论 画 上 了 一 个 完美 





层次 上 地 描述 了 该 入 



































E 明 不 会 有 任何 “基于 比较 ”的 排序 多 























第 





法 的 工作 原 到 

















个 “算法 名 人 堂 ” 快速 排序 应 
之 后 (第 5.1 节 )， 

















E 元 素 (第 5.3 节 )。 第 5.4 节 讨 论 了 随机 化 的 
第 5.5 节 证 明了 它 对 个 元 素 的 数组 进行 排序 的 渐进 


























5.1 


的 句号 。 


概述 






































排序 算法 呢 ? 














从 实 











方面 甚至 更 加 优越 。 
MergeSort 比较 ，QuickSort 的 一 个 巨大 优点 是 





























的 角度 看 ，QuickSort 











ckSort 将 上 




















速度 快 得 炫目 的 排序 香 



































基于 这 个 原因 ， 它 是 询 








性 平均 运行 时 间 
法 能 够 比 O(n log n) 











机 科学 家 或 者 程序 员 〈 包 括 作 者 本 人 )， 他 们 心目 中 排 
现在 许多 人 的 答案 中 。 为 什么 
法 (MergeSort)， 为 什么 还 














的 竞争 力 较 之 MergeSort 也 毫 不 逊色 ， 在 某 些 
F 多 程序 库 的 默认 排序 方法 。 和 























它 是 原 地 排序 的 ， 它 反复 交换 元 素 ， 
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直接 在 输入 数组 中 进行 操作 。 由 于 这 个 原因 , 它 只 需要 分 配 极 少 的 额外 内 存 用 于 
中 间 计 算 。 从 美学 的 角度 看 ，QuickSort 是 一 种 引 人 注 目的 优雅 算法 ， 并 且 具 有 
同等 优雅 的 运行 时 间 分 析 。 

5.1.1 排序 


QuickSort 算法 解决 了 对 数组 进行 排序 的 问题 ， 它 与 第 1.4 节 所 处 理 的 问题 
相同 。 
















































































问题 : 排序 
输入 : 包含 nn 个 以 任意 顺序 出 现 的 数 的 数组 . 
输出 : 包含 相同 数 的 数组 ， 它 们 已 经 按照 从 小 到 大 的 顺序 排序 。 











因此 ， 如 果 输 入 数组 是 









































13|s|2|s5l1|4[7|6 
则 正确 的 输出 数组 是 
Il1[2[3lalslel7ls| 














和 我 们 对 MergeSort 的 讨论 一 样 ， 简 单 起 见 ， 我 们 假设 输入 数组 中 的 元 素 都 
是 不 同 的 ， 没 有 重复 的 值 。” 
5.1.2 ”根据 基准 元 素 进行 划分 

QuickSort 是 围绕 一 种 用 于 “部 分 排序 ”的 快速 子 程序 而 建立 的 ， 这 个 子 程 
序 的 任务 就 是 根据 一 个 “基准 (pivot) 元 素 ”对 数组 进行 划分 。 

步骤 1: 选择 一 个 基准 元 素 。 首先， 从 数组 中 选择 一 个 元 素 ， 把 它 作 为 基准 



















































































GD 如果 需要 自己 实现 QuickSort， 就 要 在 这 个 地 方 提高 警惕 。 如 果 想 要 正确 、 高 效 地 处 理 重复 值 ， 那 你 
需要 使 些 技巧 ， 它 较 之 MergeSort 要 复杂 一 些 。 关 于 这 方面 的 详细 讨论 ， 您 可 以 参考 Robert 
Sedgewick 和 Kevin Wayne 的 著作 4Algorithms (Addison-Wesley，2011) 的 第 2.3 节 。 



































元 素 。 第 5.3 节 将 会 详 纪 





Ny 5.1 概述 









































讨论 怎么 选择 基准 元 素 。 现 在 ， 我 们 就 不 假 思索 地 直接 




















使 用 数组 的 第 一 个 元 素 〈 也 就 是 上 面 的 “3?”) 作为 基准 元 素 。 
步骤 2: 根据 这 个 基准 元 素 重新 排列 数组 。 选 择 了 基准 元 素 p 之 后 ， 下 一 个 
任务 就 是 对 数组 中 的 元 素 进行 排列 ， 使 数组 中 之 前 的 所 有 元 素 都 小 于 p， 在 p 























之 后 的 所 有 元 素 都 大 于 p。 例 如， 根据 上 面 的 输入 数组 ， 下 面 是 一 种 合理 的 重新 


排列 元 素 的 方式 : 





基准 元 素 
























































En 
Gh 


小 于 基准 元 素 大 于 基准 元 素 








这 个 例子 清楚 地 说 明了 基准 元 素 之 前 的 元 素 并 不 需要 按照 正确 的 顺序 放置 
(图 中 “1” 和 “2” 的 位 置 放 反 了 )， 基 准 元 素 之 后 的 元 素 也 是 如 此 。 这 个 划分 子 
程序 把 数组 的 〈 非 基准 ) 元 素 放 在 两 个 桶 里 ， 一 个 是 放置 小 于 基准 元 素 的 桶 ， 另 











个 是 放置 大 于 基准 元 素 的 桶 。 
下 面 是 这 个 划分 子 程序 的 两 个 关键 特性 。 
快速 。 这 种 划分 子 程序 具有 非常 炫目 的 实现 速度 ， 它 的 运行 时 
















































































司 是 线性 的 




















O(n)。 更 妙 的 是 这 个 子 程序 能 够 在 原 地 实现 ， 除 输入 数组 所 占用 的 内 存 之 外 ,不 
需要 再 为 它 分 配 内 存 "， 这 也 是 QuickSort 能 够 成 为 实用 工具 的 关键 原因 。 第 5.2 
节 将 详细 讨论 这 种 实现 。 

明确 的 进展 。 围 绕 一 个 基准 元 素 对 数组 进行 划分 对 数组 的 排序 起 到 了 很 大 的 
帮助 。 首 先 ， 基 准 元 素 本 身 处 于 正确 的 位 置 ， 意 味 着 它 在 排序 之 后 的 输入 数组 中 











































































































Er of 




















也 是 处 于 相同 的 位 置 ( 所 有 小 于 它 的 元 素 在 它 之 前 ， 所 有 大 于 它 的 元 素 在 它 之 后 )。 
其 次 ， 这 种 划分 把 排序 问 





页 分 宝 


题 分 割 成 两 个 更 小 的 子 问 题 : 对 小 于 基准 元 素 的 元 素 进 
































行 排序 《它们 很 方便 地 在 自己 的 子 数组 中 原 地 排序 ) 以 及 对 大 于 基准 元 素 的 元 素 
进行 排序 〈 也 是 在 它们 自己 的 子 数组 中 原 地 排序 )。 











(DD 这 就 与 MergeSort 〈 


























有 1.4 节 ) 





多 成 鲜明 的 对 比 ， 后 者 需要 反复 地 把 元 素 从 一 个 数组 复制 到 另 一 个 数组 。 
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在 递归 地 对 这 两 个 子 数组 中 的 元 素 进 行 排序 之 后 , 这 个 算法 就 完成 了 任务 !" 





5.1.3 ”高 级 摘 述 


在 QuickSort 算法 的 高 级 描述 中 ， 数 组 的 “第 一 部 分 ”和 “第 二 部 分 ”分 别 
表示 小 于 基准 的 元 素 和 大 于 基准 的 元 素 ; 














第 一 部 分 第 二 部 分 
QuickSort ( 高 级 描述 ) 
输入 : 包含 nn 个 不 同 整数 的 数组 4。 
处 理 结 果 : 4 的 元 素 从 小 到 大 排序 。 





























if n < 1 then // 基 本 条 件 一 已 经 排序 
return 
选择 一 个 基准 元 素 p // 有 待 实现 














围绕 p 对 A 进行 划分 // 有 待 实 现 
递归 地 对 的 第 一 部 分 进行 排序 
递归 地 对 的 第 二 部 分 进行 排序 
































虽然 MergeSort 和 QuickSort 都 是 分 治 算法 ， 但 它们 的 操作 顺序 是 不 同 的 。 
在 MergeSort 中 ， 首 先 执 行 的 是 递归 调用 ， 然 后 是 组 合 步骤 Merge。 在 QuickSort 
中 ， 递 归 调 用 出 现在 划分 之 后 ， 它 们 的 结果 并 不 需要 进行 组 合 ! 2 
























































5.1.4 ”内容 前 瞻 
接 下 来 需要 完成 的 工作 包括 : 





























QD 如 果 选 择 了 最 小 元 素 或 最 大 元 素 为 基准 元 素 ， 其 中 一 个 子 问 题 可 能 为 空 。 在 这 种 情况 下 ,对 应 的 递归 
调用 可 以 被 跳 过 。 
@ QuickSort 是 Tony Hoare 在 1959 年 发 明 的 ， 当 时 他 年 仅 25 岁 。Hoare 后 来 继续 致力 于 编程 语言 的 研 
究 ， 做 出 了 许多 重要 的 贡献 。 他 于 1980 年 获得 了 ACM 图 灵 奖 ， 这 个 奖 相当 于 计算 机 科学 界 的 诺 贝 


尔 奖 。 
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1. 怎么 实现 划分 子 程序 ? (第 5.2 节 ) 

2. 怎么 选择 基准 元 素 ? (第 5.3 节 ) 

3. QuickSort 的 运行 时 间 是 什么 ? (第 5.4 和 5.5 节 ) 

另 一 个 问题 是 :“ 我 们 真 的 确信 QuickSort 对 输入 数组 进行 了 正确 的 排序 
吗 ? ”我 一 般 对 这 种 准确 性 问题 的 论证 兴趣 不 大 , 因为 学 生 们 一 般 对 分 治 算法 的 
正确 性 拥有 强烈 且 准确 的 直觉 。( 把 这 个 问题 与 理解 分 
nd te tc cs gn 洗 虑 ， 通 过 归纳 证 明 法 对 
QuickSort 的 正确 性 进行 论证 也 是 非常 简单 的 。 

































































































































































5.2 ”围绕 基准 元 素 进 行 划 分 





接 下 来 , 我 们 详细 讨论 怎样 围绕 基准 元 素 对 数组 进行 划分 , 也 就 是 对 数组 进 
行 重新 排列 ， 使 之 看 上 去 像 下 面 这 样 ; 


5.2.1 简易 方法 


如 果 我 们 并 不 介意 分 配额 外 的 内 存 ， 实 现 线性 的 划分 子 程序 是 相当 简单 的 。 一 
方法 是 对 输入 数组 4 进行 一 遍 扫描 ,并 把 它 的 非 基 准 元 素 逐 个 复制 到 一 个 相同 长 































































































@ 根据 附录 A 所 讨论 的 数学 归纳 法 模板 ， 设 P(n) 表 示 语 句 “ 对 于 每 个 长 度 为 n 的 输入 数组 ，QuickSort 

可 以 对 它 进行 正确 的 排序 。” 基 本 条 件 (n = 1) 比较 无 趣 : 只 有 1 个 元 素 的 数组 肯定 已 经 排序 ， 因 
t QuickSort 在 这 种 情况 下 直接 就 是 正确 的 。 在 归纳 步 又 中 ， 确定 一 个 任意 的 正 整 数 n 宇 2。 我 们 可 以 
自 定 归纳 假设 ( 即 对 于 所 有 的 <n，P(PD) 都 是 正确 的 ) ， 意 味 着 QuickSort 可 以 正确 地 对 每 个 元 素数 
量 小 于 的 数组 进行 排序 。 
在 划分 步骤 之 后 ， 基 准 元 素 p 的 位 置 就 与 它 在 最 终 排 好 序 的 输入 数组 中 的 位 置 相 同 。p 之 前 的 元 素 与 
输入 数组 的 排序 版 本 中 之 前 的 元 素 相同 (很 可 能 相对 顺序 并 不 正确 ), 对 于 p 之 后 的 元 素 也 是 如 此 。 
忆 此， 唯一 剩 下 的 任务 就 是 对 疡 之 前 的 元 素 进 行 重新 组 织 ， 使 之 按 序 排列 。 对 于 疡 之 后 的 元 素 也 是 # 
行 类 似 的 操作 。 由 于 两 个 递归 调用 都 是 作用 于 长 度 最 多 为 慰 - 1 的 子 数组 上 如果 没 有 别 的 ，p 就 被 
排除 )》 ， 归 纳 假设 提示 这 两 个 调用 都 对 它们 的 子 数组 进行 了 正确 的 排序 。 这 样 就 完成 了 归纳 步骤 ,证 
月 了 QuickSort 算法 的 正确 性 。 
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度 的 新 数组 B 中 ， 小 于 p 的 元 素 复 制 到 数组 B 的 前 面 ， 大 于 的 元 素 复 制 到 数组 B 
的 后 面 。 在 处 理 完了 所 有 的 非 基准 元 素 之 后 ， 就 可 以 把 基准 元 素 复 制 到 数组 B 中 剩 
下 的 那个 位 置 。 对 于 5.1 节 的 这 个 输入 数组 例子 ， 计 算 过 程 中 间 的 一 个 快照 如 下 : 
















































































SO 小 于 3 的 下 一 个 元 素 大 于 3 的 下 一 个 元 素 
加 | 2|s|111417 15 E 一 2 | ] 5 |s 
基准 元 素 小 于 基准 


大 于 基准 
由 于 这 个 子 程序 对 于 输入 数组 中 2 个 元 素 中 的 每 一 个 元 素 都 只 执行 0(1) 的 
工作 ， 所 以 它 的 运行 时 间 是 O(n)。 


5.2.2 ” 原 地 实现 : 高 级 计划 
围绕 一 个 基准 元 素 划分 数组 时 ， 怎 么 才能 做 到 几乎 不 需要 分 配额 外 的 内 存 
呢 ? 我 们 的 高 级 方法 就 是 对 数组 进行 一 遍 扫 描 , 根据 需要 交换 元 素 , 使 数组 在 这 
遍 扫 描 之 后 就 正确 地 完成 了 划分 。 

假设 基准 元 素 是 数组 的 第 一 个 元 素 ,我 们 可 以 在 一 个 预 处 理 步 又 中 把 基准 元 


素 与 数组 的 第 一 个 元 素 进行 交换 ， 这 个 操作 可 以 在 OG) 时 间 内 完成 。 当 我 们 扫 
苗 并 转换 输入 数组 时 ， 要 小 心 谨慎 ， 确 保 它 具 有 下 面 的 形式 : 


已 经 划分 未 划分 
也 就 是 说 ， 这 个 子 程序 维持 下 面 这 个 不 变性 ": 第 一 个 元 素 是 基准 元 素 ， 接 
着 是 所 有 已 经 处 理 的 非 基准 元 素 , 所 有 小 于 基准 的 元 素 都 在 大 于 基准 的 所 有 元 素 
的 前 面 ， 然 后 是 按 任 意 顺 序 出 现 的 尚未 处 理 的 非 基准 元 素 。 
如 果 我 们 能 够 成 功 完 成 这 个 计划 , 那么 在 线性 扫描 结束 时 就 完成 了 对 数组 的 









































































































































































































































































































































QD 算法 的 不 变性 是 它 的 一 个 属性 ， 指 在 它 执行 时 的 一 个 规定 点 《例如 在 每 次 循环 迭代 的 末尾 ) 总 是 正确 的 。 
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转换 ， ~ 乡 式 如 下 : 


























最 后 ， 为 了 完成 划分 ， 我 们 把 基准 元 素 与 小 于 它 的 最 后 一 个 元 素 进行 交换 : 








交换 


5.2.3 例子 


接 下 来 , 我 们 通过 一 个 具体 的 例子 来 详细 讨论 原 地 划分 子 程序 。 在 看 到 它 的 
代码 之 前 就 在 一 个 程序 例子 中 观察 它 的 执行 步骤 , 这 看 上 去 有 点 奇怪 , 但 是 请 相 
信 我 ， 这 是 理解 这 个 子 程序 的 最 快捷 径 。 

在 我 们 的 高 级 计划 的 基础 之 上 ， 我 们 希望 记录 两 个 边界 。 其 中 一 个 是 已 经 观 
察 的 非 基 准 元 素 和 尚未 观察 的 非 基准 元 素 之 间 的 边界 ， 另 一 个 是 第 一 组 中 小 于 基 
准 的 元 素 和 大 于 基准 的 元 素 之 间 的 边界 。 我 们 将 使 用 索引 j 和 i 来 记录 这 两 个 边 
界 。 我 们 所 期 望 的 不 变性 可 以 重新 作 以 下 描述 。 

不 变性 : 基准 元 素 和 i 之 间 的 所 有 元 素 都 小 于 基准 元 素 ，i 和 j 之 间 的 所 有 
元 素 都 大 于 基准 元 素 。 

i 和 j 都 被 初始 化 为 基准 元 素 和 剩余 元 素 之 间 的 边界 。 基 准 元 素 和 | 之 间 没 
了 元素， 此 时 这 个 不 变性 就 简单 地 成 立 ; 







































































































































































基准 未 划分 
在 每 次 迭代 时 ， 这 个 子 程序 观察 一 个 新 元 素 ， 并 把 j 的 值 加 1。 为 了 维持 这 
个 不 变性 ， 可 能 需要 其 他 工作 ， 也 可 能 不 需要 。 在 这 个 例子 中 ， 当 我 们 第 一 次 把 











114 第 5 章 快速 排序 (QuickSort ) 上 























7 的 值 加 1 时 ， 得 到 下 面 的 结果 : 





已 划分 未 划分 











基准 元 素 和 i 之 间 没 有 任何 元 素 ，i 和 jj 之 间 的 唯一 元 素 (“8”) 大 于 基准 元 
素 ， 所 以 这 个 不 变性 仍然 成 立 。 

现在 情况 变 得 复杂 了 。 再 次 把 j 的 值 加 1 之 后 , i 和 j 之 间 就 又 有 了 一 个 元 素 ， 
它 (“2”) 小 于 基准 元 素 ， 这 就 违反 了 这 个 不 变性 。 为 了 恢复 这 个 不 变性 ， 我 们 把 
“8” 与 “2” 进 行 交 换 ， 同 时 把 i 的 值 加 1， 这样 i 就 位 于 “2” 和 “8” 之 间 ， 我 们 



















































































再 次 明确 了 已 处 理 元 素 中 小 于 基准 的 元 素 和 大 于 基准 的 元 素 之 间 的 边界 : 













































































还 没完 成 划分 未 划分 已 划分 未 划分 

第 三 次 逻 代 与 第 一 次 兴 代 相似 。 我 们 处 理 下 一 个 元 素 “5”) 并 把 7 的 值 加 
1。 由 于 这 个 新 元 素 大 于 基准 元 素 ， 所 以 这 个 不 变性 仍然 成 立 ， 不 需要 再 做 其 
他 事情 ; 











已 划分 未 划分 








第 四 次 迭代 与 第 二 次 迭代 相似 。 把 六 的 值 加 1 就 在 i 和 jj 之 间 插 入 了 一 个 小 





于 基准 








Yb 











蜀 绕 基准 元 素 进行 划分 


























EE 的 元 素 《“1”)， 这 就 违背 了 不 变性 。 




















但 = 
只 要 把 “1” 与 大 于 基准 的 第 一 个 元 素 “8”) 进行 交换 3 


























恢复 这 个 不 变性 也 是 非常 简单 的 ， 











把 i 的 值 加 1， 这 样 就 








更 新 了 已 处 理 元 素 中 小 于 基准 的 元 素 和 大 于 基准 的 元 素 之 间 的 边界 : 





尚未 完成 划分 未 划分 


最 后 3 个 迭代 过 程 所 处 理 








已 划分 


















































未 划分 


的 元 素 都 大 于 基准 元 素 , 所 以 在 增加 j 的 值 之 外 不 


需要 做 其 他 操作 。 在 所 有 的 元 素 都 被 处 理 并 且 基 准 元 素 之 后 的 所 有 元 素 都 完成 划 
分 之 后 , 我 们 就 可 以 完成 最 后 一 个 步骤 , 把 基准 元 素 与 小 于 它 的 最 后 一 个 元 素 进 


















































已 划分 








已 划分 














正如 要 求 的 那样 , 在 最 终 的 数组 中 , 所 有 小 于 基准 的 





前 ， 所 有 大 于 基 ?; 
属 巧合 。 基 准 元 素 之 后 的 元 素 很 显然 并 不 是 
































八 的 元 素 出 现在 基准 元 素 之 后 。 至 于 “1” 和 “2” 符 合 顺序 则 纯 






































5.2.4 ”Partition 子 程序 的 伪 码 


观察 了 这 个 例子 之 后 ，Partition 子 程序 的 伪 码 ] 


@ 如 果 浏览 网 络 上 的 其 他 教科 书 ， 读 者 会 发 现 这 个 子 程序 的 一 些 不 变性 











有 序 排列 的 。 














元 素 出 现在 基准 元 素 之 








E 如 我 们 所 期 望 的 那样 。” 



































E 细 节 上 存在 差异 。 (甚至 有 个 























匈牙利 乡间 舞蹈 家 所 完成 的 一 个 版 本 ! ) 这 些 不 变性 


对 于 我 们 的 目的 

















j 言 都 是 合适 的 。 
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Partition 
输入 : 包含 个 不 同 整 数 的 数组 4， 左 、 右 端点 人 ， sf{L2 71}， 且 0<7。 
处 理 结果 : 子 数组 的 元 素 44], A[L +1,…，A[r] 已 经 围绕 4A[ 人 完成 了 划分 
输出 : 基准 元 素 的 最 终 位 置 。 


p := A[l] 
二 
forj := +1toLrdo 


if A[j] < p then  // 如 果 A[j] > pb， 不 需要 操作 
交换 A[j] 和 A[i] 
i :=i+1 // 恢复 不 变性 

交换 A[1] 和 A[i - 1] // 正确 放置 基准 元 素 
return i -1 // 报告 最 终 的 基准 位 置 
























































Partition 子 程序 接受 输入 数组 4， 但 它 只 对 包含 元 素 4[],…, 4A[r] 的 子 数 
组 进行 操作 ， 其 中 4 和 了 都 是 特定 的 参数 。 后 面 将 会 看 到 ，QuickSort 的 每 个 弟 
归 调 用 将 负责 原始 输入 数组 的 一 个 特定 的 连续 子 集 ， 而 参数 4 和 x 指定 了 对 应 
的 端点 。 


例如 在 这 个 例子 中 ， 索 引 j 记录 哪些 元 素 已 经 被 处 理 ， 索 引 i 记录 已 处 理 元 
素 中 小 于 基准 的 元 素 和 大 于 基准 的 元 素 之 间 的 边界 (使 4[] 成 为 大 于 基准 的 元 素 
中 最 左边 的 那个 , 前 提 是 已 处 理 元 素 中 存在 大 于 基准 的 元 素 )。for 循环 的 每 次 迭 
代 处 理 一 个 新 的 元 素 。 类 似 的 ， 当 新 元 素 4 四 大 于 基准 元 素 时 ， 这 个 不 变性 就 自 
动 成 立 ， 不 需要 做 其 他 操作 。 和 否则 ， 这 个 子 程序 就 通过 把 新 元 素 4 中 与 大 于 基准 
元 素 的 最 左边 元 素 4 四 进 行 交 换 以 维持 这 个 不 变性 ， 然 后 把 i 的 值 加 1， 更 新 小 
于 基准 的 元 素 和 大 于 基准 的 元 素 之 间 的 边界 ”“。 正 如 之 前 所 介绍 的 那样 ， 最 后 











































































































































































































QD 如 果 此 时 还 没有 过 到 大 于 基准 的 元 素 , 不 需要 进行 交换 。 包含 已 处 理 元 素 的 子 数组 已 经 简单 地 完成 J 

划分 。 但 是 这 种 额外 的 交换 也 是 无 害 的 (读者 应 该 可 以 验证 )， 因 此 我 们 还 是 沿用 这 个 简单 的 伪 码 。 
@ 为 什么 这 种 交换 和 索引 加 1 的 操作 总 是 能 够 维护 不 变性 ? 在 j 的 最 近 一 次 加 1 之 前 , 不 变性 是 能 够 维 

寺 的 (根据 归纳 所 得 出 的 结论 )。 这 意味 着 4[t+1],…，Ali-1] 范围 内 的 所 有 元 素 都 小 于 基准 元 素 ， 
A],…, 4[j 一 1 范围 内 的 所 有 元 素 都 大 于 基准 元 素 。 在 交换 了 4[] 和 4 四 之 后 ，A[L+1],…, 4 范 
围 内 的 元 素 都 小 于 基准 元 素 ， 4[i+1],…, 4[ 有 站 范围 内 的 元 素 都 大 于 基准 元 素 。 把 i 的 值 加 1 之 后 ， 
A[L+1],…, 45-H 范围 内 的 元 素 都 小 于 基准 元 素 ，4[i],…, 4[j 一 1] 范围 内 的 元 素 都 大 于 基准 元 素 ， 从 
恢复 了 不 变性 。 
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一 个 步 又 就 是 把 基准 元 素 交 换 到 它 的 正确 位 置 ， 与 小 于 它 的 最 右边 元 素 进行 交 
换 。Partition 子 程序 的 最 后 一 步 就 是 把 这 个 位 置 报告 给 调用 它 的 QuickSort。 

这 种 实现 具有 令 人 炫目 的 速度 。 对 于 相关 子 数组 的 每 个 元 素 4[O],…… 4[7]， 
它 只 执行 常数 级 的 操作 ， 因 此 它 在 子 数组 上 的 运行 时 间 是 线性 的 。 































































































重要 的 是 ， 这 个 子 程序 是 在 原 地 对 子 数组 进行 操作 的 ， 除 了 像 i 和 jj 这 种 用 




















于 记录 位 置 的 变量 的 0(1) 级 内 存 之 外 ， 它 不 需要 分 配额 外 的 内 存 。 


5.2.5 QuickSort 的 伪 码 























现在 我 们 已 经 完整 地 描述 了 QuickSort 算法 ， 暂 时 不 理会 用 于 选择 基准 元 素 




















的 子 程序 ChoosePivot 的 细节 。 





排序 。 
if 1>r then 

return 
i := ChoosePivot(A,1 ，L) 
swap A[l1] andq A[il] 
] := Partition(A;l; r) 
QuickSort (A, 1, ] = 1) 
QuickSort (A, jj + 1; LT) 





输入 : 包含 nn 个 不 同 整 数 的 数组 4， 左 、 右 端点 人 ,re{l,2,…,n},， 且 人 <r。 
处 理 结果 : 子 数组 的 元 素 4[4], 4[L+1],…, A[r] 已 经 按照 从 小 到 大 的 顺序 完成 了 











QuickSort 


// 0 个 或 1 个 元 素 的 子 数组 


// 有 待 实现 

// 首先 确定 基准 元 素 
// jj 为 新 的 基准 位 置 
// 对 第 一 部 分 进行 递归 操作 
// 对 第 二 部 分 进行 递归 操作 






























































为 了 对 一 个 包含 n 个 元 素 的 数组 4 进行 排序 ， 只 要 调用 QuickSort(4, 1, n) 


就 可 以 了 。” 





5.3 ”良好 的 基准 元 素 的 重要 性 





QuickSort 是 不 是 一 种 快速 的 算法 ? 衡量 这 个 问题 的 标准 有 点 高 : 像 InsertionSort 




















Q@ 数组 4 总 是 通过 3 






























































传递 的 ， 也 就 是 说 所 有 的 函数 调用 都 是 直接 在 输入 数组 的 原始 拷贝 上 进行 操作 的 。 
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这 样 的 简单 排序 算法 的 运行 时 间 是 平方 级 的 (O(n ))， 我 们 已 经 知道 有 一 种 排序 
算法 (MergeSort) 的 运行 时 间 是 O(n log n)。 这 个 问题 的 答案 取决 于 ChoosePivot 
子 程序 是 如 何 实现 的 。 这 个 子 程序 从 一 个 指定 的 子 数组 中 选择 一 个 元 素 。 为 了 使 
QuickSort 变 得 快速 ， 很 重要 的 一 点 就 是 要 选择 “良好 的 ”基准 元 素 。 也 就 是 说 ， 
基准 元 素 可 以 产生 两 个 大 小 大 致 相等 的 子 问 题 。 


5.3.1 _ ChoosePivot 的 简单 实现 


在 QuickSort 的 概述 中 ， 我 们 提 到 了 一 种 简单 的 实现 ， 总 是 挑选 第 一 个 元 素 
为 基准 元 素 。 







































































ChoosePivot ( 简单 实现 ) 
输入 : 包含 nn 个 不 同 整 数 的 数组 4， 左 右 两 端点 人 ,re {2,…,n}. 
输出 : 索引 ie 《+1,…,7}。 


return 2 





这 种 简单 的 实现 是 否 已 经 够 好 ? 





小 测验 5.1 

采用 ChoosePivot 的 简单 实现 后 ,， 当 输入 数组 已 经 排序 时 ，QuickSort 算法 的 运 
行 时 间 是 什么 ? 

(a) OM) 

(b) O(n logn) 

(c) O(n’) 

(d) O(n’) 

(关于 正确 答案 和 详细 解释 ， 参 见 第 5.3.3 节 ) 











5.3.2 ChoosePivot 的 过 度 实现 


小 测验 5.1 描绘 了 使 用 QuickSort 可 能 出 现 的 最 差 场 景 , 每 个 递归 调用 只 能 消 
除 一 个 元 素 。 那 么 最 佳 场景 是 什么 呢 ? 最 完美 的 平衡 划分 点 是 由 数组 的 中 位 元 素 

























































































N 5.3 良好 的 基准 元 素 的 重要 性 




















实现 的 。 所谓 中 位 元 素 ， 就 是 数组 中 大 于 它 的 元 素 和 小 于 它 的 元 素数 量 基 本 相同 。 
此 ， 如 果 我 们 想 要 付出 更 多 的 努力 来 确定 基准 元 素 ， 可 以 计算 特定 子 数组 的 中 
位 元 素 。 











耳 














ChoosePivot ( 过 度 实现 ) 
输入 : 包含 nn 个 不 同 整 数 的 数组 4， 左 右 两 端点 人 ,re 1{l,2,…,n}、， 
输出 : 索引 ie{l,L+1,.…,r}. 


return A[?],…, A[r|] 的 中 位 元 素 的 位 




















我 们 将 在 第 6 章 看 到 , 数组 的 中 位 元 素 可 以 在 与 数组 长 度 成 正比 的 线性 时 间 
内 计算 出 来 。 我 们 直接 把 它 作为 结论 用 在 下 一 个 小 测验 中 >。 付出 如 此 多 的 努力 
算出 理想 的 基准 元 素 是 不 是 可 以 得 到 良好 的 回报 呢 ? 
















































































小 测验 5.2 

采用 了 ChoosePivot 的 过 度 实现 之 后 ,QuickSort 对 一 个 任意 的 于 元 素数 组 进行 
排序 的 运行 时 间 是 什么 ”假设 ChoosePivot 子 程序 的 运行 时 间 是 @(1)。 

(a) 缺乏 足够 信息 ， 无 法 回答 

(b) O(n) 

(c) O(n logn) 

(d) O(n) 

(关于 正确 答案 和 详细 解释 ， 参 见 第 5.3.3 节 ) 











5.3:3, ; 相 测 蛤 6.18.2 的 管 肥 
小 测验 5.1 的 答案 
正确 答案 : (e)。 简 单 选 择 的 基准 元 素 加 上 已 经 排序 的 输入 数组 会 导致 
































QD 例如 ， 一 个 元 素 为 {1,2,3,…,9} 的 数组 的 中 位 元 素 是 5。 对 于 长 度 为 偶数 的 数组 ， 中 位 元 素 就 有 两 个 合 
适 的 选择 ， 任 何 一 个 都 满足 我 们 的 需要 。 因 此 在 一 个 元 素 为 {1,2,3,…,10} 的 数组 中 ，5 或 6 都 可 以 认 
为 是 中 位 元 素 。 

@ 读者 现在 应 该 知道 怎样 在 O(n log n) 时 间 内 确定 一 个 数组 的 中 间 元 素 。( 提 示 : 排序 !) 
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QuickSort 的 运行 时 间 达 到 @(n”)， 这 比 MergeSort 要 糟 得 多 ， 和 InsertionSort 这 
样 的 简单 算法 相 比 也 没什么 优势 。 哪 里 出 了 问题 ? QuickSort 的 最 外 层 调用 在 执 
行 Partition 子 程序 时 把 第 一 个 〈 最 小 ) 元 素 作为 基准 元 素 ， 所 以 不 会 采取 任何 动 
作 : 它 扫描 整个 数组 ， 由 于 它 所 遇 到 的 元 素 都 大 于 基准 元 素 ， 所 以 不 需要 交换 任 
何 元 素 。 在 这 次 调用 Partition 完成 后 ， 画 面 就 变 成 了 : 







































































对 这 些 进 行 递 归 操作 





空 nn-1 个 元 素 (依然 已 经 排序 ) 














在 非 空 的 递归 调用 中 , 这 个 场景 不 断 重 现 : 子 数 组 已 经 排序 , 第 一 个 (最 小 ) 
元 素 被 选 作 基准 元 素 ， 然 后 产生 一 个 空 的 递归 调和 和 一 个 对 n-2 个 元 素 的 子 数 
组 进行 操作 的 递归 调用 ， 接 下 来 依 此 类 推 。 





















































最 终 ，Partition 子 程 序 依 次 在 长 度 为 n、n-1、n-2、…、2 的 子 数组 上 被 调 
用 。 由 于 调用 一 次 Partition 所 完成 的 工作 与 传递 给 该 调用 的 子 数组 的 长 度 成 正 
比 ， 因 此 QuickSort 所 完成 的 总 工作 量 与 下 面 这 个 结果 成 正比 : 

7 十 (2 一 了 二 (2 一 2) 十 十 ] 


O(n) 





















































因此 ， 它 的 运行 时 间 是 输入 长 度 的 平方 。” 


小 测验 5.2 的 答案 








正确 答案 : (ec)。 在 这 个 最 佳 场景 中 ，QuickSort 的 运行 时 间 是 @(n log n)。 
原因 是 支配 它 的 运行 时 间 的 递归 过 程 与 MergeSort 的 是 相同 的 。 也 就 是 说 ， 如 果 
7T(n) 表 示 这 种 实现 的 QuickSort 对 长 度 为 n 的 数组 进行 排序 的 运行 时 间 ， 则 












































@ 观察 +0-D+O-2)+… +1= O(n ) 的 一 个 简单 方法 是 注意 到 它 最 大 不 会 超过 (每 个 项 最 大 
不 超过 n)， 最 小 不 会 低 于 ny4( 前 n/2 项 至 少 为 w2 )。 
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T(n) = 2.7[2| + O(n) 
2 选择 基准 元 素 及 划分 





一 ,一 一 一 
由 于 基准 元 素 = 中 位 元 素 


























QuickSort 在 它 的 递归 调用 之 外 所 完成 的 主要 工作 发 生 在 ChoosePivot 和 
Partition 子 程序 中 。 我 们 假设 前 者 的 运行 时 间 是 @(n)， 第 5.2 节 证 明了 后 者 的 运 
行 时 间 也 是 @(n)。 由 于 我 们 使 用 了 中 位 元 素 作 为 基准 元 素 ， 所 以 可 以 实现 输入 
数组 的 完美 划分 ， 每 个 递归 调用 最 多 对 不 超过 n/2 个 元 素 的 子 数组 进行 操作 。 
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三 数组 的 50% 和 数组 的 30% 




















将 a=b=2、d=1 应 用 到 主 方法 (定理 4.1)， 得 到 的 结果 是 Ttn)= (nlogn)。” 








5.4 随机 化 的 QuickSort 




















选择 子 数 组 的 第 一 个 元 素 作为 基准 元 素 只 耗 时 O(1)， 但 可 能 导致 QuickSort 
的 运行 时 间 高 达 B@(n)。 选 择 中 位 元 素 作为 基准 元 素 可 以 保证 总 体 运行 时 间 为 
O(n log nn), 但 这 样 会 在 选择 基准 元 素 时 消耗 的 时 间 太 多 (如 果 仍 然 是 线性 时 间 )。 
我 们 能 不 能 同时 得 到 这 两 种 方法 的 优点 ? 是 不 是 有 一 种 简单 和 轻 量 级 的 方法 用 
于 选择 一 个 基准 元 素 , 使 其 能 够 实现 数组 划分 的 大 致 平衡 ? 答案 是 肯定 的 , 该 思 
路 的 关键 是 使 用 随机 化 。 





































































































5.4.1 ChoosePivot 的 随机 化 实现 


所 谓 随 机 化 的 算法 ， 就 是 当 它 遇 到 问题 时 采用 “ 掷 硬 币 ” 的 方法 ， 根 据 手 硬 
币 的 结果 作出 决定 。 如 果 在 同一 个 输入 上 不 断 地 运行 一 种 随机 化 的 算法 , 可 以 看 
到 不 同 的 运行 具有 不 同 的 行为 。 所 有 主要 的 编程 语言 都 提供 了 可 以 根据 需要 很 方 































































































G 从 技术 上 说 ， 我 们 使 用 的 是 主 方法 的 一 种 变型 ， 使 用 的 是 @ 记 法 而 不 是 0 记 法 。 不 过 ， 在 其 他 方面 ， 
它 与 定理 4.1 都 是 完全 相同 的 。 
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便 地 选择 随机 数 的 程序 库 。 对 于 每 个 严肃 的 算法 设计 师 ， 随 机 化 应 该 成 为 他 们 必 


备 的 工具 之 一 。 








为 什么 要 在 算法 中 植 入 随机 性 呢 ? 算法 难道 不 应 该 是 我 们 能 够 想到 的 最 有 具 












































确定 性 的 东西 之 一 吗 ? 事实 
对 应 的 确定 性 算法 能 更 快 、 

































































上 , 有 数 以 百 计 的 计算 问题 在 引入 随机 化 之 后 能 够 比 
更 有 效 或 更 容易 编写 代码 。? 
































在 QuickSort 中 植 入 随机 性 的 最 简单 的 方法 就 是 总 是 随机 选择 基准 元 素 ， 这 














个 方法 极其 有 效 。 














ChoosePivot ( 随机 化 的 实现 ) 


输入 : 包含 n 个 不 同 整 数 的 数组 > 左右 两 端点 £,re{l, 2,.…, 1} o 


输出 : 索引 i El E17} 


return A[{], A[{ +1],:…, Alr] 


o 





F 一 个 随机 选择 的 元 素 








例如 ， 如 果 4=41, r=50， 则 4[41],…,4[50] 这 10 个 元 素 每 个 元 素 都 有 10% 





的 机 会 被 选 作 基准 元 素 。” 


5.4.2 随机 化 Quic 


KSort 的 运行 时 间 








随机 化 的 QuickSort 由 于 基准 元 素 是 随机 选择 的 ， 所 以 它 的 运行 时 间 并 不 总 



































是 相同 的 。 总 是 存在 可 能 (不管 这 个 可 能 性 有 多 小 ) 每 次 在 剩余 的 子 数组 中 选择 











最 小 的 元 素 作为 基准 元 素 ， 


导致 9(n) 的 运行 时 间 ， 就 像 我 们 在 小 测验 5.1 中 所 








观察 的 那样 ?。 同 样 存在 极其 微小 的 可 能 性 : 我 们 每 次 都 幸运 地 选择 了 子 数 组 的 
中 位 元 素 作 为 基准 元 素 ， 从 而 导致 O(n log n) 的 运行 时 间 , 就 像 我 们 在 小 测验 5.2 
中 所 观察 的 那样 。 因此 , 该 算法 的 运行 时 间 在 @(n”) 和 O(n log nn) 之 间 波 动 。 那么 ， 





























它 的 最 佳 场景 和 最 差 场景 哪 























QD 即便 是 计算 机 科学 家 也 要 思量 良久 才能 得 到 这 个 结论 ， 其 开端 是 20 世纪 70 年 代 中 期 有 人 用 随机 
化 的 算法 测试 一 个 整数 是 否 是 质数 。 
@ 另 一 个 同等 有 效 的 方法 是 在 一 个 预 处 理 步 又 中 对 输入 数组 进行 随机 洗 牌 然后 运行 QuickSort 的 简 




















实现 。 











个 更 容易 出 现 呢 ? 















































下 

















@ 只 要 ) 值 不 是 太 小 ， 遇 到 这 种 情况 的 可 能 性 还 不 如 被 小 行星 磺 中 脑袋 的 可 能 性 大 。 
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令 人 惊奇 的 是 ，QuickSort 的 性 能 几乎 总 是 接近 最 佳 场景 。 


定理 S.1 (随机 化 QuickSort 的 运行 时 间 ) 对 于 每 个 长 度 n 宇 1 的 输入 数组 ， 随 
机 化 QuickSort 的 平均 运行 时 间 是 O(n log n)。 


这 个 定理 中 的 “平均 ”表示 QuickSort 算法 本 身 的 随机 性 。 定 理 5.1 并 没有 
假设 输入 数组 是 随机 的 。 随 机 化 的 QuickSort 是 一 种 通用 的 算法 (参阅 第 1.6.1 
节 ): 不 管 输入 数组 是 什么 , 如 果 不 断 运行 该 算法 , 它 的 平均 运行 时 间 将 是 O(n log 
7 人 ， 足 够 成 为 一 种 低 代 价 使 用 的 算法 。 从 原则 上 说 ， 随 机 化 QuickSort 的 运行 时 
间 有 可 能 达到 @ (mw), 但 它 在 实际 使 用 中 的 运行 时 间 几 乎 总 是 O(n log n)。 两 个 额 
外 的 奖励 :定理 5.1 的 大 O 记 法 中 隐藏 的 常数 相对 较 小 (这 点 和 MergeSort 一 样 )， 
并 且 该 算法 并 不 需要 花费 时 间 分 配 和 管理 额外 的 内 存 (这 点 与 MergeSort 不 同 )。 


5.4.3 直觉 : 随机 基准 元 素 为 什么 很 好 


要 想 深 入 理解 QuickSort 为 什么 能 够 做 到 这 么 快 ， 研 究 定理 5.1 的 证 明 是 不 
二 之 选 。 第 5.5 节 将 详细 讨论 这 方面 的 内 容 。 作 为 定理 5.1 证 明 的 准备 工作 ， 并 
作为 那些 时 间 有 限 难以 深刻 理解 第 5.5 节 内 容 的 读者 的 安慰 奖 , 我 们 接 下 来 培 
养 一 种 为 什么 定理 5.1 应 该 为 真 的 直觉 。 
第 一 个 需要 理解 的 地 方 是 ， 为 了 实现 像 小 测验 5.2 那样 运行 时 间 为 O(n log n) 
的 最 佳 场景 ,使 用 中 位 元 素 作 为 基准 元 素 显 得 用 力 过 狐 。 假设 我 们 改 用 “近似 的 
中 位 元 素 ” 而 该 基准 元 素 能 够 实现 23% 一 75% (或 者 更 好 ) 的 划分 。 换 种 说 法 ， 
至 少 有 25% 的 元 素 大 于 这 个 元 素 ， 并 且 至 少 有 25% 的 元 素 小 于 这 个 元 素 。 围 绕 
这 种 基准 元 素 进行 划分 的 情形 如 下 : 
近似 中 位 元 素 


es 


数组 的 25%~75% 数组 的 25%~75% 
如 果 每 个 递归 调用 所 选择 的 基准 元 素 都 是 这 种 意义 上 的 近似 中 位 元 素 ， 
QuickSort 的 运行 时 间 仍 然 是 O(n log n)。 我 们 无 法 直接 从 主 方法 (定理 4.1) 中 推 
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导出 这 个 结论 ， 因 为 使 用 非 中 位 元 素 会 产生 不 同 长 度 的 子 问题 。 但 是 , 对 MergeSort 
.5 节 ) 的 分 析 进 行 延 伸 却 并 不 困难 ， 这 个 延伸 结论 也 适用 于 此 处 。” 
个 需要 理解 的 地 方 是 虽然 在 随机 化 的 QuickSort 中 需要 非常 好 的 运气 才 
会 选 到 中 位 元 素 (n 分 之 一 的 概率 )， 但 是 选中 一 个 近似 中 位 元 素 却 不 需要 太 多 
的 运气 。 例 如 ， 考 虑 一 个 包含 元 素 11, 2, 3…, 100} 的 数组 ，26 一 75 之 间 的 任何 一 
个 元 素 都 是 近似 中 位 元 素 ( 因 为 至 少 有 25 个 元 素 小 于 它 并 且 至 少 有 25 个 元 素 大 
于 它 )。 这 个 范围 囊括 了 整个 数组 50% 的 元 素 ! 因此 ，QuickSort 有 50% 的 机 会 随 
机 选中 一 个 近似 中 位 元 素 ， 这 个 概率 和 猜 硬币 正 反 面 的 概率 相同 。 

这 意味 着 我 们 预期 大 约 有 50% 的 QuickSort 调用 会 使 用 近似 中 位 元 素 , 我 们 
可 以 期 望 前 面 的 O(n log n) 运 行 时 间 分 析 仍 然 能 够 成 立 ， 尽 管 递归 层 数 可 能 会 多 
出 一 倍 。 

不 要 犯错 : 这 并 不 是 正式 的 证 明 ， 只 是 猜想 定理 5.1 仍然 可 能 成 立 的 一 种 假 
设 论证 。 但 是 ， 如 果 把 QuickSort 放 在 算法 设计 和 分 析 的 中 心 位 置 ， 我 们 需要 定 
理 5.1 真正 成 立 的 无 可 争议 的 论证 。 
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*5.5 随机 化 QuickSort 的 分 析 
































随机 化 的 QuickSort 看 上 去 是 个 很 好 的 思路 ， 但 我 们 怎么 才能 知道 它 确实 表 
现 出 色 呢 ? 换 种 更 通用 的 说 法 ， 当 我 们 在 工作 中 提出 一 个 算法 时 ， 怎 么 才能 知道 
它 是 非常 优秀 的 或 者 是 非常 糟 料 的 呢 ? 一 种 实用 但 不 通用 的 方法 是 编写 代码 对 
该 算法 进行 测试 ， 针 对 许多 不 同 的 输入 尝试 该 算法 。 











































































































@ 画 出 这 种 算法 的 递归 树 。 当 QuickSort 在 两 个 子 问 题 上 递归 地 调用 自身 时 ， 子 问题 处 理 不 同 长 度 的 元 
素 (分 别 是 小 于 基准 的 元 素 和 大 于 基准 的 元 素 ) 。 这 意味 着 ， 对 于 每 个 递归 层次 j， 不 同 的 第 j 层 子 
问题 的 子 数 组 之 间 不 存在 重修。 因此 第 j 层 子 问 题 的 所 有 子 数组 的 长 度 之 和 最 大 为 n。 这 一 层 所 完成 
的 工作 (通过 调用 Partition) 是 与 子 数组 长 度 之 和 呈 线 性 关系 。 因 此 ， 和 MergeSort 一 样 ， 这 个 算法 

在 每 个 递归 层 完 成 O(n) 的 工作 。 有 多 少 个 递归 层 ? 由 于 基准 元 素 是 近似 中 位 元 素 ， 传 递 给 同一 

个 递归 调用 最 多 为 75% 的 元 素 ， 因 此 每 一 层 的 子 问题 长 度 的 缩减 因子 至 少 是 43。 这 意味 着 递归 树 中 

最 多 有 logy3n = O(log n) 层 ， 因 此 总 的 工作 量 是 O(n log n)。 
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另 一 种 方法 是 培养 该 算法 应 该 能 够 良好 工作 的 直觉 ， 例 如 第 5.4.3 节 对 随机 
化 的 QuickSort 算法 所 做 的 那样 。 但 是 要 想 深刻 理解 哪些 因素 会 影响 算法 的 优 劣 
常常 需要 进行 数学 分 析 。 本 节 将 帮助 读者 理解 为 什么 QuickSort 能 够 这 么 快速 。 

本 节 假 设 读者 已 经 熟悉 离散 概率 的 概念 。 附 录 B 复习 了 取样 空间 、 事 件 、 
随机 变量 、 期 望 值 和 线性 期 望 等 概念 。 


5.5.1 预备 工作 


定理 5.1 声称 对 于 每 个 长 度 n 宇 1 的 输入 数组 ， 随 机 化 的 QuickSort( 基 准 元 
素 统 一 采取 随机 选择 的 方式 ) 的 平均 运行 时 间 是 O(n log n)。 我 们 首先 把 这 个 声 
称 转换 为 离散 概率 语言 中 的 形式 声明 。 

接 下 来 就 是 对 长 度 为 n 的 任意 输入 数组 4 的 分 析 。 我 们 知道 ， 取 样 空间 就 
是 指 某 个 随机 过 程 中 的 所 有 可 能 出 现 的 结果 的 集合 。 在 随机 化 的 QuickSort 中 ， 
所 有 的 随机 性 都 出 现在 不 同 的 递归 调用 对 基准 元 素 的 随机 选择 上 。 因此, 我 们 可 
以 把 取样 空间 Q 作为 QuickSort 中 随机 选择 的 所 有 可 能 出 现 的 结果 的 集合 ( 即 所 
有 的 基准 元 素 序 列 )。 

我 们 知道 ， 所 谓 随机 变量 就 是 指 一 个 随机 过 程 的 结果 的 一 种 数值 度量 ， 它 是 
一 个 定义 于 Q 上 的 实数 值 函 数 。 我 们 所 关心 的 随机 变量 是 随机 化 的 QuickSort 所 
执行 基本 操作 〈 即 代码 的 行 数 ) 的 数量 RT。 这 是 一 个 具有 良好 定义 的 随机 变量 ， 
因为 当 基准 元 素 的 选择 是 预先 确定 的 时 候 ( 即 w EQ 是 固定 的 )，QuickSort 就 具 
有 固定 的 运行 时 间 RT(w)。 在 w 所 有 可 能 的 选择 范围 内 ，RT(w) 的 范围 是 从 O(n log 
nn) 到 O(n) (参见 第 5.3 节 )。 


我 们 可 以 通过 分 析 一 个 更 简单 的 变量 来 达到 目的 , 这 个 变量 只 对 比较 操作 进 
行 计数 ， 忽 略 算法 所 执行 的 其 他 类 型 的 基本 操作 。 设 随机 变量 C 表示 具有 某 个 
特定 基准 元 素 序列 的 、QuickSort 所 执行 的 输入 元 素 对 之 间 的 比较 数量 。 回 过 头 
去 观察 伪 码 , 我 们 可 以 看 到 这 些 比较 只 出 现在 一 个 地 方 : Partition 子 程序 中 的 “it 
A[j] < p” 这 行 代码 (第 5.2.4 节 )， 它 把 当前 的 基准 元 素 与 输入 子 数组 中 的 某 
个 其 他 元 素 进行 比较 。 


下 面 这 个 辅助 结论 说 明了 这 些 比 较 操 作 决 定 了 QuickSort 的 总 体 运 行 时 间 ， 
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第 5 章 


意味 着 QuickSort 的 总 体 运行 时 间 大 于 比较 操作 的 幅 








快速 排序 ( QuickSort ) 


[4 


下 度 仅 为 一 个 常数 





因子 。 这 就 





表明 , 为 了 证 明 QuickSort 的 预期 运行 时 间 的 上 界 是 O(n log n), 我 们 只 需要 证 明 


它 所 执行 的 比较 操作 的 预期 数量 

辅助 结论 $.2 ”对 于 每 个 长 度 至 少 为 2 的 输入 数组 4 和 每 个 基准 序列 w， 者 
存在 一 个 常数 a> 0， 满 足 RT(w) 私 
怀疑 论 者 , 我们 提供 
正确 的 ， 可 以 跳 过 这 段 内 容 。 
E 明 : 首先 ， 在 每 个 Partition 调用 中 ， 基 准 元 素 只 与 特定 子 
此 在 这 个 调用 中 比较 的 数量 与 子 数组 的 长 度 


论 5.2 很 明显 


数组 
呈 线 
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为 了 说 服 




















古 











抽 





助 结论 5.2 














口 











Partition 子 程序 之 外 只 执行 常数 级 时 
的 输入 数组 的 元 素 在 被 排 


每 个 


准 元 素 , 操作 的 总 量 

















操作 




















关系 。 根 据 第 


的 证 





的 每 个 其 他 元 素 比 较 一 次 ， 因 
5.2.4 节 的 伪 码 ， 这 个 
个 常数 因子 。 根 据 第 5.2.5 节 的 伪 码 ， 随 机 化 的 QuickSort 的 每 个 递归 调用 在 























调 月 








本 贡 的 剩余 部 分 


定理 5.3( 随 机 化 QuickSort 中 的 比较 ) 对 于 每 个 长 度 n 宇 
机 化 的 QuickSort 中 输入 数组 元 素 之 间 的 预期 比较 数量 






































) 将 把 当 


























a . 


了 这 个 加 


助 结论 的 常数 


C(w)。 





























调用 中 











助 结论 的 证 


量 的 上 界 是 O(n log n)。 


Bp 
































明 。 如 果 读 者 觉得 辅助 结 

















的 操作 总 数 最 多 就 是 再 乘 以 一 





间 的 操作 了。QuickSort 递归 调用 最 多 有 nn 个， 











除 出 未 来 的 递归 调用 2 
EE RT(w) 最 多 就 是 一 个 常数 乘 以 比较 的 总 
由 于 C(w) 总 是 至 少 与 nn 成 正比 (甚至 与 n log n 成 正比 )， 

完全 可 以 被 吸收 到 这 个 辅 








HH 


意 力 旨 





如 








前 都 有 可 能 被 选 作 基 
数 C(w) 再 加 上 O(n)。 
因此 这 些 额外 的 O(n) 


























因子 中 ,这 样 就 完成 了 证 明 。 Q.e.d. 


E 如 何 确定 预期 比较 数量 的 上 界 上 。 
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1 的 输入 数组 ， 随 
最 多 为 2(n -1)In n= O(n 












































log n)。 
通过 辅助 结论 5.2， 定 理 5.3 在 大 0 记 法 中 隐藏 了 不 同 的 常数 因子 ， 暗 示 了 
定理 5.1 的 正确 性 。 
5.5.2 ”分解 蓝图 
主 方法 (定理 4.1) 解决 了 我 们 到 目前 为 止 所 讨论 的 每 个 分 治 算法 的 运行 时 
Q@ 这 段 话 假设 选择 一 个 随机 的 基准 元 素 算 作 一 个 基本 操作 。 如 果 选 择 一 个 随机 的 基准 元 素 需 要 gdlog n) 
的 基本 操作 ， 这 个 证 明 仍然 可 以 成 立 〈 读 者 可 以 验证 )， 这 就 涉及 随机 器 生成 器 典型 的 实际 实现 。 
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间 。 但 是 有 两 个 原因 使 其 不 适用 于 随机 化 的 QuickSort 算法 。 首 先 ， 该 算法 的 运 
行 时 间 对 应 于 一 个 随机 递归 过 程 或 一 棵 随机 递归 树 , 而 主 方法 适用 于 具有 确定 性 
的 递归 过 程 。 其 次 ， 用 递归 方式 解决 的 两 个 子 问题 〈 小 于 基准 的 元 素 和 大 小 基准 
的 元 素 ) 一 般 具 有 不 同 的 长 度 。 因 此 ， 我 们 需要 一 种 新 的 思路 来 分 析 QuickSort 
的 运行 时 间 。?” 

为 了 证 明定 理 5.3， 我 们 将 遵循 一 份 分 解 蓝图 ， 它 适用 于 对 复杂 随机 变量 的 
期 望 值 进 行 分 析 。 第 一 个 步骤 是 确定 我 们 所 关注 的 〈 可 能 复杂 的 ) 随机 变量 7。 
对 于 我 们 而 言 ， 它 就 是 随机 化 的 QuickSort 所 进行 的 输入 数组 元 素 之 间 的 比较 数 
量 C， 如 定理 5.3 所 述 。 第 二 个 步骤 是 把 了 表达 成 更 简单 的 随机 变量 之 和 ， 在 理 
想 情 况 下 是 指示 性 〈 即 0 和 1) 随机 变量 蕊 ，…, 筷 : 


































































































现在 我 们 就 开始 讨论 它 的 线性 期 望 值 线性 期 望 值 表示 随机 变量 之 和 的 期 户 
值 等 于 它们 各 自 的 期 望 值 之 和 《定理 B.1)。 这 份 蓝图 的 第 三 个 步 又 就 是 使 用 这 
个 特性 减少 了 的 期 望 值 的 计算 量 ， 将 其 简化 为 计算 简单 随机 变量 的 期 望 值 并 进行 
累加 就 可 以 了 : 
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[=1 《=1 



































当 马 表示 指示 性 随机 变量 时 ， 它 们 的 期 望 值 可 以 根据 式 〈B.1) 的 定义 非常 
容易 地 计算 出 : 


E(X,)=0:Pr[X, =0]+1: Pr[X,=1]= Pr[X,=1] 


=0 


最 后 一 个 步骤 是 计算 简单 随机 变量 的 期 望 值 ， 并 把 它 加 到 结果 上 。” 



































































































































QD 主 方法 存在 能 够 处 理 这 两 个 问题 的 通用 版 本 ， 但 它 较 复杂 ， 超 出 了 本 书 的 范围 。 
@ 第 B.6 节 随机 化 的 负载 平衡 分 析 是 这 个 蓝图 的 一 个 简单 的 实际 应 用 例子 。 我 们 在 《算法 详解 》 系 列 的 
第 2 卷 中 讨论 散 列 表 时 将 再 次 使 用 这 份 蓝图 。 
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分 解 蓝图 
1 确认 我 们 所 关注 的 随机 变量 双 


2. 把 了 表示 为 指示 符 ( 即 0 和 1) 随机 变量 页，…, 思 之 和 : 


党 YX 
/=1 
3. 应 用 线性 期 望 值 : 


E[Y]= YPr[X, =1] 


4. 计算 每 个 Pr[X, =1]， 并 将 结果 相 加 ， 得 到 EI[Y]. 











5.5.3 ”应 用 蓝图 





为 了 在 随机 化 的 QuickSort 的 分 析 中 应 用 这 份 蓝图 ， 我们 需要 把 自己 真正 关 












































根据 被 比较 的 输入 元 素 对 总 比较 次 数 进行 分 解 。 








如 ， 在 下 面 这 个 数组 中 : 





注 的 随机 变量 C 分 解 为 更 简单 的 (理想 情况 下 为 0 或 1) 随机 变量 。 关键/ 


准确 起 见 ， 让 Z; 表 示 输 入 数组 中 的 第 i 小 的 元 素 ， 又 称 第 i 个 











思 路 是 


顺序 统计 。 例 


Z1 表 示 “2” 力 表 示 “6”， 恕 表示 “8”，Z4 表 示 “9”。 注意 Zi 并 不 表示 (未 
排序 的 ) 输入 数组 的 第 个 元 素 ， 而 是 输入 数组 的 已 排序 版 本 这 个 位 置 的 元 素 。 















































QuickSort 对 元 素 Z; 和 ZZ 进行 比较 的 次 数 。 








对 于 每 对 数组 索引 i, je {1,2,…,n} 且 i<j， 我 们 定义 一 个 随机 变量 钨 ;如 下 : 
对 于 每 个 国定 的 基准 元 素 选择 w，X(w) 是 当 基准 元 素 由 w 所 指定 时 


例如 ， 对 于 上 面 的 输入 数组 ，Xi3 是 QuickSort 算法 对 “2” 和 “8” 的 比较 


次 数 。 我 们 并 不 关注 吝 本 身 ， 唯 一 关心 的 是 这 些 简 单 随机 变 








上 


是 


累加 起 来 








日 . 不 台 bb 
是 否 能 
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够 得 到 我 们 真正 关心 的 随机 变量 C。 


这 个 定义 的 要 点 就 是 实现 分 解 蓝图 的 第 二 个 步骤 。 由 于 每 个 比较 正好 只 涉及 
输入 数组 元 素 ， 所 以 对 于 每 个 we 2， 都 有 














部 





六 一 人 


C(@)=2, 2 X,(%) 


1=1 j=i+l 














右边 看 上 去 比较 奇特 的 双 求 和 符号 只 是 在 i<j 的 情况 下 对 所 有 的 元 素 对 (i 
让 进行 迭代 ， 也 就 是 说 ， 加 ;负责 对 QuickSort 算法 所 进行 的 比较 操作 进行 求 和 。 





小 测验 5.3 
选 定 输入 数组 的 两 个 不 同 元 素 Zi 和 2Z。 在 QuickSort 的 执行 期 间 ，Z; 和 轧 相 互 
之 间 进 行 比较 的 次 数 是 ? 
(a) 正 好 1 次 
(b) 0 次 或 1 次 
(c) 0 次 、1 次 或 2 次 
(d) 0 和 n-1 之 间 的 任何 数字 都 有 可 能 
(关于 正确 答案 和 详细 解释 ， 参 见 第 5.5.6 节 ) 























小 测验 5.3 的 答案 显示 了 所 有 的 高 都 是 指示 性 随机 变量 。 因 此 我 们 可 以 应 
分 解 蓝 图 的 第 一 个 步骤 得 到 下 面 的 结果 : 








呀 





























EIC]=$ 3 FX]=$ 3 PrIX =1] (1 


i=] j=i+l J=i+l 








为 了 计算 我 们 真正 关心 的 随机 变量 ， 即 表示 比较 总 数 的 期 望 值 E[C]， 我 们 需 
要 做 的 就 是 理解 Pr[%j= 1]! 这 些 数字 表示 在 随机 化 的 QuickSort 中 某 个 志和 也 在 
某 个 时 刻 相互 比较 的 概率 ， 接 下 来 我 们 需要 做 的 就 是 将 这 些 数字 盖 棺 定论 。” 




































































QD B.5 节 证 明了 一 个 重要 的 事实 ， 即 线性 期 望 值 甚至 适用 于 非 独立 的 随机 变量 〈 一 个 随机 变量 的 信息 可 
以 让 我 们 推断 其 他 随机 变量 的 信息 〉。 这 个 事实 在 这 里 是 非常 重要 的 ， 因 为 如 并 不 是 独立 的 。 例 如 ， 
如 果 我 告诉 读者 X=1, 读 者 就 知道 荆 或 蔬 , 在 QuickSort 的 最 外 层 调用 中 被 选 为 基准 元 素 ( 为 什么 ? )， 
而 这 又 很 可 能 导致 具有 总 或 总, 形式 的 随机 变量 也 等 于 1。 















































































































































130 第 5 章 快速 排序 (QuickSort ) 上 


5.5.4 计算 比较 的 概率 

有 一 个 令 人 满意 的 公式 可 用 于 计算 随机 化 的 QuickSort 中 两 个 输入 数组 进行 

比较 的 概率 。 
辅助 结论 5.4( 比较 的 概率 〉 如 果 Z; 和 Zz 表示 输入 数组 第 i 小 和 第 j 小 的 元 

素 ， 其 中 I</， 则 : 
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Pr[ 随 机 化 的 QuickSort 中 亏 乞 进行 比较 的 概率 ] 





ee 
































例如 ,如果 乙 和 马 分 别 是 最 小 元 素 和 最 大 元 素 Ci= 1 且 j=n)， 则 它们 
比较 的 概率 只 有 二 。 如 果 忆 和 马 之 间 没 有 其 他 元 素 (=i+ 1)， 则 石和 轧 总 上 
会 相互 比较 。 

确定 了 ZZ 和 有 Z (i<j)， 并 考虑 在 第 一 次 调用 QuickSort 时 选择 基准 元 素 Zi。 
会 出 现 哪些 不 同 的 场景 呢 ? 





















































4 种 QuickSort 场景 

1. 选中 的 基准 元 素 小 于 ZZ 和 ZZ (Kk<i)。 Zi 和 如 都 被 传递 给 第 二 个 递归 调用 。 
2. 选中 的 基准 元 素 大 于 Z 和 ZZ (Kk>j)。 Zi 各 都 被 传递 给 第 一 个 递归 调用 。 
3. 选中 的 基准 元 素 位 于 乙 和 也 之 间 (i<k<j), Zi 被 传递 给 第 一 个 递归 调用 ， 
万 被 传递 给 第 二 个 递归 调用 。 

4. 选中 的 基准 元 素 是 或 ZI (KE {i, 刘 )。 基准 元 素 不 会 被 传递 给 任何 一 个 递 
归 调 用 ， 另 一 个 元 素 被 传递 给 第 一 个 递归 调用 (如果 =j) 或 第 二 个 递归 调 
用 (如果 k=i)。 














我 们 还 需要 考虑 两 件 事情 。 首 先 ， 记 住 每 一 个 比较 都 涉及 当前 的 基准 元 素 ， 
因此 当 且 仅 当 2Z; 和 有 如 有 一 个 被 选中 为 基准 元 素 时 (场景 4), 它们 会 在 QuickSort 
的 最 外 层 调用 中 进行 比较 。 其 次 ,在 场景 3 中 , 不 仅 志 和 蕊 现在 不 会 进行 比较 ， 
而 且 它 们 以 后 也 不 会 在 同一 个 递归 调用 中 出 现 ， 所 以 未 来 也 不 会 进行 比较 。 例 
如 ， 在 下 面 这 个 数组 中 : 
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Zi=3 且 有 如 =7， 如 果 {4,5,6} 这 几 个 元 素 中 有 任 一 个 被 选 为 基准 元 素 ， 则 忆 
和 有 Zz 会 被 发 送 给 不 同 的 递归 调用 ， 永 远 不 会 进行 比较 。 例 如 ， 如 果 “6” 被 选 为 
基准 元 素 ， 情 况 就 是 下 面 这 样 的 : 




















分 离 到 不 同 的 递归 调用 





第 一 个 递归 调用 第 二 个 递归 调用 

















场景 1 和 场景 2 都 是 待 决 模式 : Z; 和 Zz 尚未 进行 比较 ， 但 它们 在 未 来 有 可 
能 进行 比较 。 在 这 种 待 决 模式 中 , 2Z; 和 ZZ 以 及 值 位 于 Zi 和 之 间 的 所 有 ZI，…， 
-1 元 素 都 处 于 平行 生存 状态 ， 它 们 被 传递 给 同一 个 递归 调用 。 最 终 ， 它 们 的 合 
作 旅 程 被 QuickSort 的 一 个 递归 调用 所 打 断 , 这 个 递归 调用 选择 了 ,Zw1,，…, 名， 
之 中 的 一 个 元 素 作为 基准 元 素 ， 导 致 场景 3 或 场景 4 的 出 现 "。 仔 细 观 察 这 个 
递归 调用 ， 可 以 发 现 如 果 甩 或 是 被 选中 的 基准 元 素 ， 就 会 触发 场景 4 (Zi 和 
万 会 进行 一 次 比较 )。 如 果 Zr …, 2 之 间 的 任何 一 个 元 素 被 选 为 基准 元 素 ,， 就 
会 触发 场景 3 不 会 进行 比较 ， 以 后 也 不 会 )。 
因此 ， 会 有 两 种 糟糕 的 情况 〈 在 Z, Za …, Zi1, 加 共产 i + 1 个 选项 中 选择 
也 或 如) 发 生 。 由 于 随机 化 的 QuickSort 总 是 统一 按照 随机 的 方式 选择 基准 元 
素 , 按照 对 称 的 原理 ，Z, Zr …, 2 2 中 的 每 个 元 素 都 有 同等 的 机 会 被 选 为 集 
合 中 的 第 一 个 基准 元 素 。 总 而 言 之 ， 


Pr[ 随 机 化 的 QuickSort 中 Z; 和 在 某 时 刻 进行 比较 ] 


















































































































































就 等 于 
Pr[Z; 或 妈 在 Zir1,…, Zi 的 任何 元 素 之 前 被 选 为 基准 元 素 ]， 
它 的 值 等 于 




















QD 如 果 没 有 其 他 情况 ， 前 面 的 递归 调用 最 终 把 输入 数组 削减 为 只 包含 元 素 { 2 Zr …, 如 1 加} 的 数组 。 
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糟糕 情况 的 数量 2 
选项 总 数 j-itl 
这 样 ， 我 们 就 完成 了 辅助 结论 5.4 的 证 明 。 Q.e.d. 
回 到 表示 随机 化 的 QuickSort 所 进行 的 比较 期 望 值 的 公式 (5.1)， 我 们 得 到 
一 个 看 上 去 非常 吓人 的 表达 式 : 
E(C) = > Pr[X, =1]= 9 > (5.2) 
i=] j=i+l i=1 j=i+l 天 一 
证 明定 理 5.3 的 工作 就 只 剩 下 证 明 式 〈5$.2) 的 右边 的 上 界 O(n log n)。 


























5.5.5 ”最 后 的 计算 




















明 式 (5.2) 的 右边 的 上 界 是 O(n”) 是 非 


证 
































常 容易 的 ， 双 求 和 过 程 中 最 多 及 
项 ， 每 一 项 的 值 最 大 为 /2( 当 j=i+ 1 时 取 该 最 大 值 )。 但 


























是 ,我们 所 追求 的 是 












































更 加 优越 的 上 界 O(n log n)， 所 以 必须 花 些 心思 才能 得 到 这 个 结果 。 我 们 必须 要 
充分 利用 “这 个 平方 级 的 多 项 式 中 绝 大 多 数 项 都 要 比 1/2 小 得 多 ”这 个 事实 。 
考虑 公式 (5.2) 中 当 i 取 某 个 固定 值 时 的 其 中 一 个 内 和 : 
2 -2 1 ] 
A j-itl 和 2.3 7 一 1 十 ] 
我 们 可 以 把 每 个 这 样 的 和 的 上 界 确定 为 最 大 的 那个 和 ， 当 i= 1 的 时 候 : 
el 2 和 2 | 
< =2( 一 1: . 
a 2 
EX 





而 














> 有 多 大 呢 ? 让 我 们 来 看 一 幅 


j=2J 

















了 的 各 个 项 看 作 图 5.1 的 平面 中 的 各 个 矩形 


和 


我 们 可 以 把 上 面 这 个 求 和 





下 面 的 面积 ， 即 积分 | 实 。 如 
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0 ! 分 有 一 定 了 解 ， 将 会 发 现 这 个 积分 的 结果 就 是 自然 对 数 Inx( 即 In 
* 是 导数 为 = 的 函数 ): 

















> dx = Inx| = Inn— In1=Inn ($5.4) 





j=2J 























图 5.1 工 这 个 求 和 公 \ 式 中 的 每 个 项 都 可 以 用 一 个 宽度 为 1 (x 坐标 在 六 1 和 /7 之 间 ) 


为 171 0 0 和 17 之 间 ) 的 矩形 来 确定 。 函数 ftx) = 1/x 的 图 形 接触 到 每 个 矩阵 的 右上 角 ， 
对 此 位 于 这 条 曲线 之 下 的 区 域 ( 即 积分 〉 就 是 这 个 矩形 的 面积 的 上 界 





型 
,村 


















































NN 










































































把 公式 (5.2) 一 式 〈5.4) 串联 在 一 起 ， 得 到 下 面 的 结果 : 


n-l n 


E[C]= >， <20 D0;<20 1)Inn 


i=] j=i+l 和 j=2 





























因此 ， 根 据 辅助 结论 5.2， 随 机 化 的 QuickSort 所 进行 的 比较 操作 的 期 望 值 
(也 是 它 的 期 望 运 行 时 间 ) 的 上 界 确实 是 O(n log n)! Q.e.d. 


5.5.6 ”小 测验 5.3 的 答案 






































正确 答案 : (b)。 如 果 马 或 了 在 QuickSort 的 最 外 层 调用 中 被 选 为 基准 元 素 ， 
则 志和 马 在 Partition 的 第 一 次 调用 时 就 进行 比较 。( 记 住 ， 基 准 元 素 会 与 子 数组 
中 的 其 他 每 个 元 素 进行 比较 。) 如 果 i 和 jj 之 间 的 差距 大 于 1, Z; 和 纪 很 可 能 永远 
会 被 比较 (参见 第 5.5.4 节 )。 例 如， 最 小 元 素 和 最 大 元 素 将 不 会 进行 比较 ， 除 
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非 其 中 2 


超过 1 次 


一 在 最 外 层 的 递归 调 
最 后 ， 正 如 人 们 对 良好 的 排序 








[4 






















































































中 被 选 为 基准 元 素 和 
法 所 期 望 的 姑 





g 样 























否则 就 是 元 余 )。 每 次 比较 都 涉及 当前 的 基准 元 素 ， 





















































[ 道 为 什么 吗 ? )。 

，Z; 和 ZZ 的 比较 次 数 不 会 
因此 当 有 志和 友 
于 基准 元 素 被 排 
中 出 现 


第 一 次 进行 比较 时 《如 果 发 生 )， 其 中 之 一 肯定 是 基准 元 素 。! 
除 在 未 来 所 有 的 递归 调用 之 外 ， 因 此 Z; 和 即 绝 不 会 再 在 同一 个 递归 调 


(更 何况 让 它们 再 次 进行 比较 )。 





n)? 从 ] 





大 限度 是 (Xn)。 这 个 选读 章节 证 
QuickSort 己 经 实现 了 最 佳 的 渐 i 


有 没有 排序 外 





*5.6 排序 需要 2 log n) 的 比较 


























觉 上 说 ,排序 生 














进 性 运行 时 间 。 


5.6.1 基于 比较 的 排序 算法 


下 面 是 Q(n log n) 下 界 的 
定理 $.$〈 排 序 的 下 界 ) 存在 一 个 常数 c>0， 这 样 对 于 每 个 n 宇 1， 




















区 式 声 明 。 














法 比 MergeSort 和 QuickSort 更 快 ， 其 
法 至 少 必 须 观察 每 个 输入 元 素 
明了 我 们 无 法 在 排 














次 , 但 这 



































每 个 基于 


比较 的 排序 算法 在 某 个 长 度 为 n 的 输入 数组 中 至 少 执行 cnlog,n 次 比较 。 
































基于 比较 的 排序 算法 是 指 





绝 不 会 直接 使 用 元 素 的 值 。 





基于 比较 的 排序 
作 某 种 完全 可 排 








种 全 





A 


















































法 是 通用 入 
序 的 集合 。 我 们 可 以 把 一 个 3 
与 输入 数组 进行 交互 ， 这 个 API 只 支持 一 个 操作 : 给 
组 长 度 n 之 间 )， 如 果 第 i 个 元 素 小 














冯 ， 




















例如 ，MergeSort 是 一 


QD 例如 ，UNIX 操作 系统 中 的 默认 和 








数 ， 


























于 对 输入 数组 的 元 素 进行 











序 程序 就 是 按 这 种 方式 了 
比较 。 


基于 比较 的 排序 算 ; 


它 并 不 会 对 输入 元 素 了 











法 只 通过 元 素 之 间 的 比较 来 访问 输入 数组 ， 





基于 比较 的 排序 全 








法 











第 7 个 元 素 就 返 





冯 ， 





[ 作 的 。 


回 1， 


























它 并 不 关注 








运行 UN (n log 
这 只 说 明 它 的 最 
序 上 做 得 更 好 ，MergeSort 和 





据 设 条 件 ， 只 是 把 它 当 
作 通 过 一 个 API 
定 两 个 索引 i 和 j (位 于 1 和 数 
否则 就 返回 0。” 


是 对 整数 还 是 水 

















唯一 的 要 

















户 定义 函 


3 *5.6 排序 需要 






































0Q(n log 7) 的 比较 


果 进 行 排序 “前提 是 我 们 同意 所 有 可 能 出 现 的 水 果 有 一 种 完整 的 排序 方式 ， 就 像 


按 字母 排序 一 样 )。” SelectionSort、InsertionSort、BubbleSort 和 QuickSort 也 是 


如 此 。 


5.6.2 ”具有 更 强 前 提 的 更 快速 排序 


理解 基于 比较 的 排序 的 最 好 方式 是 观察 一 些 虚 拟 的 例子 。 
































下 面 有 3 种 排序 算 





法 , 它们 对 输入 预 设 了 一 些 先 决 条 件 , 但 是 获得 的 好 处 是 能 够 突破 定理 5.5 的 Qn 








logn) 下 界 。® 




















BucketSort〈 桶 排序 )。BucketSort 算法 用 于 数值 数据 时 是 非常 实用 的 ， 尤 其 
是 当 这 些 数据 统一 分 布 在 某 个 已 知 范 围 时 。 例 如 ， 假 设 输入 数组 有 7 个 位 于 0 
和 1 之 间 且 大 致 均匀 分 布 的 元 素 。 按 照 我们 的 思路 ， 我 们 把 区 间 [0,，1] 划 分 为 n 

























































































个 “ 桶 ” 第 1 个 桶 用 于 保存 0 一 1 之 间 的 元 素 ， 第 2 个 桶 









































于 保存 1 一 2 之 




















间 的 元 素 ， 接 下 来 以 此 类 推 。BucketSort 排序 算法 的 第 一 个 步 











又 是 对 输入 数组 执 























行 单 遍 的 线性 扫描 , 并 把 每 个 元 素 放 入 对 应 的 桶 中 。 这 个 步 又 # 















































不 是 基于 比较 的 ， 

















BucketSort 算法 观察 一 个 输入 元 素 的 实际 值 以 确定 它 应 该 放 在 哪个 桶 中 。 输入 元 























素 的 值 是 0.17 还 是 0.27 就 会 对 排序 结果 产生 影响 ， 即 使 我 们 
相对 顺序 。 


如 果 元 素 大 致 是 均匀 分 布 的 ， 那 么 每 个 桶 所 包含 的 元 素数 量 


























已 经 固定 了 元 素 的 





是 比较 少 的 。 这 个 





























算法 的 第 二 个 步骤 是 独立 地 对 每 个 桶 内 的 元 素 进行 排序 (例如 ， 




















假设 每 个 桶 内 的 元 素数 量 非常 少 , 这 个 步骤 也 是 以 线性 时 间 运 行 的 〈 每 个 桶 














执行 常数 级 的 操作 )。 最 后 ， 不 同 桶 的 有 序列 表 从 第 1 个 到 最 












































使 用 InsertionSort )。 

















后 一 个 被 连接 在 一 





起 。 这 个 步骤 也 是 以 线性 时 间 运 行 的 。 我 们 的 结论 是 : 当 输 入 数组 满足 非常 强 的 











预 设 条 件 时 ， 实 现 线性 的 排序 是 可 能 的 。 























QD 作为 类 比 , 可 以 比较 数 独 和 聪明 方 格 。 数 独 只 需要 不 同 对 象 之 间 的 一 个 相等 概念 ， 因 此 用 9 种 不 同 的 
































水 果 代 蔡 1 一 9 的 数字 完全 是 可 以 的 。 聪 明 方 格 涉及 数值 计算 ， 因 此 必须 要 











数字 ， 不 然 谁 知道 杏子 














和 山竹 之 和 是 什么 呢 ? 








@) 关于 这 方面 的 更 详细 讨论 , 可 以 参阅 Introduction to Algorithms (Third Eolition), Thomas H. Cormen、 





Charles E. Leiserson、Ronald L. Rivest 和 Clifford Stein 著 (MIT Press，2009 )。 
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在 这 种 全 


CountingSort《 计 数 排序 )。CountingSort 介 
法 中 ， 我 们 



























































法 是 同 



































每 个 桶 


























种 思路 的 另 一 个 变形 。 
假设 每 个 输入 元 素 只 可 能 出 现 个 不 同 的 值 ( 预 9 
例如 整数 {1，2，…, 由 。 这 个 算法 设置 个 桶 ， 


E 知 道 )， 
保存 每 个 可 能 出 现 的 值 ， 


对 输入 数组 执行 单 遍 扫描 时 把 每 个 元 素 放 在 适当 的 桶 中 。 输 出 数组 就 是 简单 地 把 


这 些 桶 按 顺序 连接 在 





























中 是 输入 数组 的 长 度 。 和 BucketSort 一 村 


RadixSort《〈 基 数 排序 )。RadixSort 入 
能 够 优雅 
组 成 的 串 ， 又 称 “ 位 ”) 表示 的 不 会 特别 巨大 的 整数 。RadixSort 的 第 一 个 步骤 只 
考虑 输入 数 的 logzn 个 最 低 有 效 位 的 区 块 ， 并 对 它们 i 
个 位 可 以 用 nn 个 不 同 的 值 i 
n 一 1)， 所 以 可 以 使 用 
RadixSort 算法 根据 接 下 来 的 log2zz 个 次 1 





这 个 过 程 重 复 进 行 ， 直 到 输入 元 素 中 的 所 有 位 都 处 理 


够 


















































CountingSort 




















的 。 











所 





的 运行 时 间 。 


数 ) 


的 。 定 至 




















这 3 种 排序 全 





















































法 是 CountingSort 
E 地 处 理 包 含 nn 个 整数 的 输入 数组 ， 这 些 整 数 是 以 二 进 第 








起 。 当 = O(n) 时 ，CountingSort 的 运行 时 间 是 O(n)， 
FE， 它 也 不 是 一 
































基于 比较 的 









































Ws 













































































法 。 


法 的 一 种 扩展 ， 它 
EB 式 (0 和 1 所 





行 相应 的 排序 。 由 于 log2n 
行 编码 〈 对 应 于 以 二 进 制 形式 书写 的 0，1，2，… 


党 






































正确 地 进行 排序 ， 在 实现 CountingSort 子 程序 时 让 它 保持 稳定 性 是 非 








胃 稳 定性 ， 就 是 保留 具有 相同 值 的 不 同 元 素 的 相对 顺序 ?。 
组 只 包含 0 到 n* (k 是 某 个 常数 ) 之 间 的 整数 ，RadixSort 算法 


之 后 是 如 何 使 用 比较 之 外 的 技巧 〈 例 如 桶 ) 实 下 














8 5.5 表示 通 月 
我 们 来 看 看 为 什么 。 


























Pe 富 ， 








的 基于 比较 的 排序 入 


5.6.3 ”定理 5.5 的 证 明 


输出 


G 并 不 是 所 有 的 排序 算法 都 是 稳定 的 。 例 如 ，QuickSort 就 是 一 种 不 稳定 的 排序 算法 。 
于 随机 化 的 基于 比较 的 排序 算法 ， 但 这 些 算 法 的 预期 运行 时 间 不 可 能 优 于 6(n log n)。 





@ 类 似 的 论证 也 适 











选 定 





任 忆 的 、 傅 


















































看 作 数 值 1，2，…,，n 的 一 








法 是 不 可 














定性 的 、 基 导 




















比较 的 排序 














法 ”。 我 们 可 以 把 该 人 














排列 《〈 即 重新 排序 )， 殿 
































算法 以 线性 时 间 实 现 这 个 步 又 。 然 后 ， 
氏 有 效 位 对 所 有 的 元 素 进行 重新 排序 。 
完毕 。 为 了 让 这 个 算法 能 

常 重要 

只 要 输入 数 

就 可 以 达到 线性 


法 显示 了 对 输入 数据 施加 额外 预 决 条 件 〈 例 如 不 是 过 大 的 整 
见 快 于 9 (n log n) 的 运行 时 间 
能 实现 这 种 性 能 改进 的 。 让 


法 的 


中 输出 中 的 第 i 个 元 


(知道 为 什么 吗 ?) 
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素 表 示 输 入 数组 中 第 i 小 的 元 素 位 置 。 例 如 ， 如 果 输 入 数组 是 : 




















则 正确 的 排序 算法 的 输出 可 以 解释 为 具有 下 面 索引 的 数组 : 


























2 13 











[4 





正确 的 输出 数组 共有 n!=n:(n 一 1)……2.1 种 可 能 性 ?>。 对 于 每 个 输入 数组 ， 
都 有 一 个 唯一 正确 的 输出 数组 。 


辅助 结论 5.6 ”如 果 一 种 基于 比较 的 排序 算法 对 于 任意 长 度 为 n 的 输入 数组 
所 进行 的 比较 操作 绝对 不 会 超过 次 ， 则 它 最 多 生成 2 个 不 同 的 输出 数组 。 

证 明 : 我 们 可 以 把 这 个 算法 所 执行 的 操作 分 解 为 几 个 阶段 ， 其 中 阶段 i 是 该 
算法 在 它 的 第 六 1 次 比较 之 后 和 第 i 次 比较 之 前 所 完成 的 工作 。( 该 算法 可 以 在 
两 次 比较 之 间 进 行 它 想 要 的 操作 ,包括 记录 、 推 断 将 要 进行 的 下 一 个 比较 等 ， 只 
要 它 并 不 访问 输入 数组 ,阶段 i 所 执行 的 特定 操作 仅 依 赖 于 前 计 1 次 比较 ， 因 
为 这 是 该 算法 所 知道 的 与 输入 有 关 的 信息 就 只 有 这 些 。 例如 , 这 些 操作 并 不 依赖 
于 其 中 的 某 次 比较 所 涉及 的 元 素 的 实际 值 。 在 算法 结束 时 , 输出 数组 只 依赖 于 所 
比较 的 结果 。 如 果 算 法 所 进行 的 比较 数量 绝 不 会 超过 次 , 则 该 算法 最 多 执行 
2 次 ， 因 此 最 多 有 2” 个 不 同 的 输出 数组 。” Q.e.d. 

一 种 正确 的 排序 算法 必须 能 够 生成 所 有 的 n! 个 可 能 的 正确 输出 数组 。 根 据 
辅助 结论 5.6， 如 果 是 对 n 个 元 素 的 输入 数组 所 进行 的 最 大 比较 数量 ， 则 


je 
2 nl > 人 


2 
n(n—1)*…21 






































































































































































































































其 中 我 们 已 经 利用 了 n(x 一 1)…2-:1 的 前 n/2 项 都 至 少 是 n/2 这 个 事实 。 对 
这 个 式 子 的 各 边 均 取 底 数 为 2 的 对 数 可 得 : 





























QD 输入 数组 中 最 小 元 素 的 位 置 共有 个 选择 ， 次 小 的 元 素 的 位 置 共 有 -1 个 选择 ， 接 下 来 依 此 类 推 。 
@ 对 于 第 一 个 比较 ， 共 有 2 个 可 能 的 结果 。 不 管 其 结果 是 什么 ， 后 面 那个 比较 也 是 有 2 个 可 能 的 结果 ， 
接 下 来 以 此 类 推 。 
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大 之 7log 9 = O(nlogn) 









































这 个 下 界 适用 于 任何 基于 比较 的 排序 算法 ， 这 就 完成 了 定理 5.5 的 证 明 。 Q.e.d. 














5.7 ”本章 要 扣 




















。 著名 的 QuickSort 算法 具有 3 个 高 级 步 又: 首先 ， 它 从 输入 数组 中 选择 
一 个 元 素 作为 “基准 元 素 ” 其 次 , 它 的 Partition 子 程序 对 数组 进行 重 
新 排列 ， 使 所 有 小 于 p 的 元 素 都 出 现在 p 之 前 ， 所 有 大 于 p 的 元 素 都 出 
现在 p 的 后 面 。 最 后 , 它 递归 地 对 基准 元 素 两 侧 的 两 个 子 数 组 进行 排序 。 

。 Partition 子 程序 可 以 实现 线性 的 运行 时 间 ， 并 且 能 够 在 原 地 进行 操作 ， 
这 意味 着 它 所 需要 的 额外 内 存 几乎 可 以 忽略 。 因 此 ，QnuickSort 是 一 种 原 
地 排序 的 算法 。 

。 QuickSort 算法 的 正确 性 并 不 依赖 于 基准 元 素 是 怎样 选择 的 , 但 它 的 运行 
时 间 却 依赖 于 基准 元 素 的 选择 。 

。 最 坏 情 况 场 景 的 运行 时 间 为 9(n”), 其 中 是 输入 数组 的 长 度 。 当 输入 数 
组 已 经 排序 并 且 总 是 选择 第 一 个 元 素 作为 基准 元 素 时 ， 就 会 出 现 这 种 情 
况 。 最 佳 情 况 场景 的 运行 时 间 为 O(n log 门 。 如 果 每 次 都 选择 中 位 元 素 作 
为 基准 元 素 ， 就 会 出 现 这 个 结果 。 

。 在 随机 化 的 QuickSort 中 ， 基 准 元 素 总 是 统一 按照 随机 的 方式 选取 的 。 

取决 于 随机 选择 的 结果 ， 它 的 运行 时 间 在 @(n log n) 和 O(n ) 之 间 波 动 。 

。 随机 化 的 QuickSort 的 平均 运行 时 间 是 @(n log n)， 和 它 的 最 佳 情况 运行 
时 间 相 比 ， 只 是 增加 了 一 个 较 小 的 常数 因子 。 

。 从 直觉 上 说 ， 选 择 一 个 随机 的 基准 元 素 是 个 很 好 的 思路 ， 因 为 有 50% 的 
机 会 可 以 实现 输入 数组 23% 一 75$% 的 划分 甚至 其 他 更 好 的 划分 。 

。 形式 分 析 使 用 了 一 份 分 解 蓝图 ， 把 复杂 的 随机 变量 表达 为 一 些 值 在 0 一 1 
之 间 的 随机 变量 之 和 ， 并 对 于 应 用 线性 期 望 值 。 














































































































































































































































































































5.8 习题 139 





。 一 个 关键 的 事实 是 在 QuickSort 中 ,输入 数组 的 第 i 小 和 第 j 小 的 元 素 当 
仅 当 其 中 一 个 元 素 被 选 为 基准 元 素 ， 并 且 在 此 之 前 并 没有 位 于 它们 之 


~ 
































间 的 任何 元 素 被 选 为 基准 元 素 时 才 会 进行 比较 。 

。 基于 比较 的 排序 算法 是 通用 算法 ， 它 访问 输入 元 素 仅 是 为 了 对 元 素 进行 
比较 ， 绝 不 会 直接 使 用 元 素 的 值 。 

。 不 是 基于 比较 的 排序 算法 的 最 坏 情况 渐进 性 运行 时 间 可 以 优 于 O(n log n)。 
















































































问题 5.1 回顾 QuickSort 所 使 用 的 Partition 子 程序 (第 5.2 节 )。 下 面 这 个 
数组 刚刚 围绕 某 个 基准 元 素 进行 了 划分 : 

















哪个 元 素 可 能 被 选 为 了 基准 元 素 ?( 列 出 所 有 可 能 的 基准 元 素 , 可 能 性 不 止 
一 种 。) 
问题 5.2 ”假设 a 是 个 常量 , 它 与 输入 数组 的 长 度 n 无 关 ， 省 严格 位 于 0 一 。 























如 果 随 机 选择 了 一 个 基准 元 素 ，Partition 子 程序 对 原始 数组 进行 划分 ， 划 分 后 的 
两 个 子 数组 的 长 度 至 少 都 是 原始 数组 长 度 的 a 倍 的 概率 有 多 大 ? 








(a) a 

(b) 1-a 

(c) 1-20 
(d) 2—20 


问题 5.3 ”假设 a 是 个 常量 , 它 与 输入 数组 的 长 度 n 无 关 , 并 严格 位 于 0 一 了 。 
这 样 当 一 个 递归 调 








假设 每 个 递归 调用 实现 了 如 前 一 个 问题 所 述 的 近似 平衡 划分 , 
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用 的 输入 子 数组 的 长 度 为 上 时 , 分 配给 它 的 两 个 递归 调用 的 子 数组 的 长 度 都 位 于 
or 和 (1 -oJE 之 间 。 在 触发 基本 条 件 之 前 ， 一 共 可 能 发 生 多 少 个 递归 调用 呢 ? 换 
种 说 法 , 该 算法 的 递归 树 在 哪 一 层 包含 了 叶 节 点 ? 用 可 能 数字 4 的 某 个 范围 表示 


这 个 


































































































问题 的 答案 ， 这 个 范围 从 可 能 需要 的 最 小 递归 调用 数量 到 最 大 递归 调用 数 
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Im 








后 续 








. 【提示 : 具有 不 同 底 的 对 数 函 数 的 相关 公式 是 og n= a 。】 


er 
Ino 


sd 


Ingo In(1-a) 





Inn <a<_™ 


In(1 -a) Ina 





Inn 2 Inn 


) -全 dd 三- 
In(1- 20) In(1-— a) 

















问题 5.4 把 QuickSort 的 递归 深度 定义 为 在 触发 基本 条 件 之 前 它 所 制造 的 
递归 调用 的 最 大 数量 。 换 句 话说 ,就 是 它 的 递归 树 的 最 大 层次 。 在 随机 化 的 












































QuickSort 中 ， 递 归 的 深度 是 个 随机 变量 ， 依 赖 于 具体 所 选择 的 基准 元 素 。 随 机 
化 的 QuickSort 可 能 出 现 的 最 小 和 最 大 递归 深度 分 别 是 什么 ? 





(a) 最 小 : 90(1); 最 大 : @(n) 
(b) 最 小 : @ (log n); 最 大 : OO) 
(c) 最 小 : O(log n); 最大: @(n logn) 


(d) 最 小 : @(Vn); 最 大 : @(n) 


挑战 题 























问题 $5.$S 对 第 5.6 节 的 Q2(n log n) 下 界 进行 扩展 , 使 之 也 适用 于 随机 化 的 基 














于 比较 的 排序 算法 的 预期 运行 时 间 。 





编程 题 








问题 5.6 ”用 自己 喜欢 的 编程 语言 实 
素 选择 方式 的 性 能 。 





有 一 种 方法 是 记录 QuickSort 所 进行 














HN 5.8 习题 





现 QuickSort 算法 。 试 验 不 同 的 基准 元 








的 输入 数组 元 素 之 间 的 比较 数量 "。 对 











于 几 个 不 同 的 输入 数组 ， 确 定 ChoosePivot 子 程 序 的 下 面 这 几 种 实现 所 进行 的 比 


较 数 量 。 








1. 总 是 使 用 第 一 个 元 素 作为 基准 元 素 。 
2. 总 是 使 用 最 后 一 个 元 素 作为 基准 元 素 。 
3. 使 用 一 个 随机 的 元 素 作为 基准 元 素 。( 在 这 种 情况 下 ， 应 该 在 一 个 特定 的 








输入 数组 中 运行 



































这 个 算法 10 次 ， 并 取 结 果 的 平均 值 。) 
4. 使 用 “三 取 中 ”的 方法 选取 基准 元 素 。 这 个 规则 的 目标 是 通过 少量 额外 





























地 说 ，ChoosePivot 的 实现 把 特定 子 数 组 的 第 一 个 元 素 、 中 间 元 素 和 最 后 一 个 元 


素 作为 候选 基准 元 素 。 





元 素 。) 然后 , 它 确 六 








并 将 它 作为 基准 元 素 。” 
例如 ， 对 于 下 面 这 个 输入 数组 : 














(对 于 长 度 为 偶数 2 的 数组 ， 用 第 磊 个 元 素 表 示 “ 中 间 ” 














定 这 0 000 0 








这 个 子 程序 将 考虑 第 1 个 元 素 (“8”)、 中 间 元 素 (“5”) 和 最 后 一 个 元 素 
6，8} 这 个 集合 的 中 位 元 素 作为 基准 元 素 。 


关于 测试 用 例 和 挑战 数据 集 的 更 多 信息 , 可 以 访问 www.algorithmsilluminated.org。 


(“6”)。 它 将 返回 
































6， 即 将 {5， 




















G@ 不 需要 对 比较 进行 
单 地 加 上 m-1。( 记 
@ 在 算法 的 仔细 分 析 





计数 。 对 
































住 ， 基 准 元 素 会 与 当前 递归 调 
Pp, 除了 记录 Partition 调用 所 
中 位 元 素 时 所 进行 的 比较 。 














个 长 度 为 m 的 子 数组 执行 一 个 递归 调用 时 ， 可 以 在 比较 总 数 上 简 









































中 的 子 数组 的 其 他 m-1 个 元 素 进行 比较 。) 















































行 的 比较 之 外 , 还 需要 记录 在 确认 3 个 候选 元 素 的 
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本 章 研究 选择 问题 ， 它 的 目的 是 在 一 个 未 排序 的 数组 中 寻找 第 i 小 的 元 素 。 
如 果 使 用 排序 方法 ， 很 容易 在 O(n log n) 时 间 内 解决 这 个 问题 ， 但 是 我 们 想 要 做 
得 更 好 。 
第 6.1 节 描 述 了 一 种 极端 实用 的 随机 化 算法 , 它 的 精神 与 随机 化 的 QuickSort 
非常 相似 ,但 它 的 平均 运行 时 间 达 到 了 线性 时 间 。 第 6.2 节 提 供 了 这 个 算法 的 优 
雅 分 析 ,， 有 一 种 很 好 的 方法 可 以 按照 简单 的 掷 硬币 试验 来 推进 这 个 算法 , 证 明 它 
具有 线性 时 间 期 望 值 。 

倾向 于 理论 的 读者 可 能 会 疑惑 怎么 可 能 在 不 借助 随机 化 的 情况 下 在 线性 
时 间 内 解决 选择 问题 。 第 6.3 节 描 述 了 该 问题 的 一 种 著名 的 确定 性 算法 ， 参 与 
该 算法 的 图 灵 奖 得 主 多 于 我 所 知道 的 其 他 任何 算法 的 。 它 是 一 种 确定 性 的 算法 
《 即 不 允许 使 用 随机 化 )， 建 立 在 一 种 独特 的 “中 位 的 中 位 元 素 ” 思 路 之 上 ， 以 
保证 选择 了 良好 的 基准 元 素 。 第 6.4 节 证 明了 它 的 线性 时 间 上 界 ， 这 可 不 是 个 
简单 的 任务 ! 

本 章 假 设 读者 已 经 熟悉 第 5.2 节 的 可 以 在 线性 时 间 内 围绕 一 个 基准 元 素 对 数 
组 进行 划分 的 Partition 子 程序 ， 并 对 基准 元 素 的 好 坏 具 有 和 良好 的 直觉 。 
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6.1 RSelect 算法 


6.1.1 选择 问题 


6.1 RSelect 算法 


选择 问题 的 输入 与 排序 问题 相同 ， 一 个 包含 n 个 数 的 数组 ， 并 有 一 个 整数 
ie {1,2,…,n}。 这 个 问题 的 目的 是 寻找 统计 意义 上 的 第 i 个 顺序 ， 也 就 是 数组 的 








第 i 小 的 元 素 。 


问题 : 选择 





输入 : 一 个 包含 个 以 任意 顺序 出 现 的 数 的 数组 ， 并 有 一 个 整数 ie {,2,…, nn} 。 


输出 : 4 的 第 i 小 的 元 素 。 





和 往常 一 样 , 简单 起 见 ,我 们 假设 输入 数组 中 的 元 素 都 是 不 同 的 , 不 存在 重 


复 的 元 素 。 例 如 ， 输 入 数组 如 下 : 





四 gg 日 





并 且 i 的 值 是 2， 正 确 的 输出 就 是 6。 如 果 i 的 值 是 3， 
接 下 来 以 此 类 推 。 











FE 确 的 输出 就 是 8， 





当 i= 1 时 ， 选 择 问 题 就 变 成 了 寻找 一 个 数组 的 最 小 元 素 的 问题 。 这 个 问题 
很 容易 在 线性 时 间 内 完成 , 只 要 对 数组 执行 一 遍 扫描 ,并 记录 到 目前 为 止 所 发 现 
的 最 小 元 素 即 可 。 类 似 ， 寻 找 最 大 元 素 (i=n) 的 情况 也 是 相当 简单 。 但 是 ， 如 


















































素 ) 呢 ? 














果 : 的 值 是 中 间 位 置 呢 ? 例如 ， 如 果 我 们 想 要 找 出 一 个 数组 的 中 间 元 素 〈 中 位 元 


准确 起 见 ， 对 于 一 个 长 度 为 奇数 的 数组 ， 中 位 元 素 是 第 i 个 统计 顺序 


. n+l 
i 二 








。 对 于 长 度 为 偶数 的 数组 ， 我 们 统一 把 中 位 元 素 定义 为 两 个 候选 元 素 中 
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较 小 的 那个 ， 也 就 是 对 应 于 1= 本。” 


6.1.2 简化 为 排序 


我 们 已 经 知道 有 一 种 快速 算法 可 以 解决 选择 问题 ， 它 借助 了 这 种 快速 的 排 
序 算法 。 





















































把 选择 简化 为 排序 
输入 : 一 个 包含 nn 个 不 同 数 的 数组 ， 并 有 一 个 整数 ie {l,2,…,n} 。 


输出 : 4 的 第 i 个 统计 顺序 。 
B := MergeSort (A) 
tetutn .BB[i] 

对 输入 数组 进行 排序 之 后 ,我 们 当然 就 知道 怎么 寻找 第 i 小 的 元 素 ， 它 就 位 
于 己 排 序数 组 的 第 i 个 位 置 。 由 于 MergeSort 的 运行 时 间 是 O(n log n)( 定 理 1.2)， 
因此 这 个 只 有 两 个 步骤 的 算法 的 运行 时 间 也 是 如 此 。® 

但 是 , 还 记得 算法 设计 师 的 执 念 吗 : 我 们 能 不 能 做 得 更 好 ? 我 们 能 不 能 设计 
一 种 专门 用 于 解决 选择 问题 的 算法 ， 使 它 的 时 间 少 于 O(n log nn) 时间? 我 们 能 
期 望 的 最 佳 结果 是 线性 时 间 O(n)， 因 为 如 果 我 们 不 花 时 间 观 察 数组 的 每 个 元 素 ， 
就 不 可 能 正确 地 找 出 最 小 元 素 〈 或 需要 寻找 的 其 他 元 素 )。 我 们 还 从 定理 5.5 中 
知道 ， 任 何 使 用 了 排序 子 程序 的 算法 的 最 坏 情况 不 可 能 优 于 O(n log n)”。 因 此 ， 
对 于 选择 问题 ， 如 果 我 们 可 以 实现 比 O(n log n) 更 好 的 运行 时 间 ， 就 相当 于 证 明 
了 选择 问题 在 本 质 上 要 比 排序 问题 更 加 容易 。 


实现 这 个 目标 需要 精巧 的 设计 , 但 是 没有 办 法 借助 排序 算法 , 它 对 此 无 能 为 力 。 



































































































































































































































QD 为 什么 需要 计算 一 个 数组 的 中 位 元 素 ? 不 管 怎么 说 , 我 们 很 容易 在 线性 时 间 内 算出 平均 值 ， 只 要 对 数 

组 元 素 进行 单 遍 扫 描 并 累加 在 一 起 , 最 终 除 以 n 就 可 以 了 。 有 一 个 原因 是 计算 一 个 数组 的 中 位 元 素 要 

比 计 算 平 均值 更 不 容易 出 问题 。 例 如 ， 如 果 有 一 个 元 素 严重 受 损 〈 例 如 数据 项 被 破坏 ) ， 那 么 平均 数 

的 统计 将 变 得 完全 没有 意义 ， 但 它 对 中 位 元 素 的 计算 影响 极 小 。 

@ 计算 机 科学 家 将 会 把 它 称 为 从 选择 问题 简化 为 排序 问题 。 简 化 帮助 我 们 避免 了 从 头 开发 一 种 新 的 算 
法 ,而 是 允许 我 们 站 在 现 有 算法 的 肩膀 之 上 。 除 了 它们 的 实际 用 途 之 外 , 简化 也 是 计算 机 科学 中 的 一 
个 极端 重要 的 概念 ， 我 们 将 在 《算法 详解 》 系 列 的 第 4 部 对 它们 进行 讨论 。 

@ 假设 我 们 受 限 于 只 能 使 用 基于 比较 的 排序 算法 ， 就 像 第 5.6 节 一 样 。 
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YN 6.1 RSelect 算法 


6.1.3 “分 治 ; 

随机 化 的 线性 时 间 选 择 算 法 RSelect 沿用 了 在 随机 化 的 QuickSort 中 被 证 明 
是 极为 成 功 的 模板 : 选择 一 个 随机 的 基准 元 素 、 围 绕 这 个 基准 元 素 对 输入 数组 进 
行 划分 、 然 后 执行 适当 的 递归 调用 。 接 下 来 我 们 的 任务 就 是 理解 适合 选择 问题 的 
递归 方式 。 
回顾 第 5.2 节 Partition 子 程序 所 完成 的 工作 : 给 定 一 个 数组 和 一 个 选 定 的 基 
准 元 素 , 对 数组 的 元 素 进 行 重新 排列 , 使 所 有 小 于 基准 的 元 素 出 现在 基准 元 素 之 
前 ， 所 有 大 于 基准 的 元 素 出 现在 基准 元 素 的 后 面 。 
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Gs 
MA wr. 
































































































































小 于 基准 元 素 大 于 基准 元 素 
因此 , 基准 元 素 最 终 将 出 现在 正确 的 位 置 上 。 所 有 小 于 它 的 元 素 都 在 它 的 前 
面 ， 所 有 大 于 它 的 元 素 都 在 它 的 后 面 。 
QuickSort 递归 地 对 包含 小 于 基准 元 素 的 元 素 的 子 数组 进行 排序 ， 对 包含 大 
于 基准 元 素 的 元 素 的 子 数组 也 是 进行 同样 的 递归 操作 。 在 选择 问题 中 , 可 以 与 此 
类 比 的 操作 是 什么 ? 


















































小 测验 6.1 
假设 我 们 在 一 个 包含 10 个 元 素 的 输入 数组 中 寻找 第 5 个 统计 顺序 。 假 设 对 数 
组 进行 划分 之 后 , 基准 元 素 出 现在 第 3 个 位 置 上 .。 我 们 应 该 在 基准 元 素 的 哪 一 
边 进行 下 一 步 的 递归 呢 ? 我 们 所 寻找 的 统计 顺序 应 该 是 哪个 ? 
(a) 基准 元 素 左 边 的 第 3 个 统计 顺序 。 
(b ) 基准 元 素 右 边 的 第 2 个 统计 顺序 。 
(c) 基准 元 素 右边 的 第 5 个 统计 顺序 。 
(d) 我 们 可 能 需要 对 基准 元 素 左 边 和 右边 都 进行 递归 。 
(关于 正解 答案 和 详细 解释 ， 参 见 第 6.1.6 节 ) 
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6.1.4 RSelect 的 伪 码 


RSelect 算法 的 伪 码 沿用 了 第 5.1 节 QuickSort 的 高 级 描述 , 只 作 了 两 处 修改 。 
首先 , 我 们 将 使 用 随机 的 基准 元 素 而 不 是 编写 通用 的 ChoosePivot 子 程序 。 其 次 ， 
RSelect 只 进行 一 个 递归 调用 , 而 QuickSort 需要 两 个 递归 调用 。 这 个 区 别 正 是 我 
门 期 望 RSelect 能 够 取得 比 随机 化 的 QuickSort 更 快速 度 的 主要 原因 。 



















































































RSelect 
输入 : 包含 nn 个 不 同 娄 次 的 数组 ， 并 有 一 个 整数 ie 12,…，,7 。 


输出 : 4 的 第 i 个 统计 顺序 。 
if n = 1 then // 基本 条 件 
return A[1] 
统一 按照 随机 的 方式 从 A 中 选择 一 个 基准 元 素 
围绕 p 对 A 进行 划分 
= p 在 划分 后 的 数组 中 的 位 置 
if j = i then // 运气 很 好 ! 
return p 
else if j > i then 
return RSelect (first part of A, i) 
else pe A 河 半 妆 汗 
return RSelect (second part of A, i-j) 






















































































绕 基准 元 素 p 把 数组 划分 为 3 块 ， 这 将 会 导致 RSelect 算法 出 现 3 





加 








情况 : 





第 一 部 分 第 /个 位 置 第 二 部 分 
( 广 7 个 元 素 ) (nj 个 元 素 ) 








因为 基准 元 素 p 被 认为 已 经 位 于 划分 后 的 数组 的 正确 位 置 ， 如 果 它 是 在 第 j 
个 位 置 ， 它 表 定 就 是 第 j 个 统计 顺序 。 如 果 天 降 大 运 ， 算 法 所 寻找 的 正 是 第 j 个 
统计 顺序 〈 即 i = 让， 任务 就 提前 宣告 完成 。 如 果 算 法 所 寻找 的 是 一 个 更 小 的 数 


《 即 i< 站 ， 它 肯定 位 于 划分 后 的 数组 的 前 半 部 分 。 在 这 种 情况 下 ， 它 将 于 弃 大 于 
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第 7 个 统计 顺序 〈 因 此 也 大 于 第 个) 的 所 有 元 素 ， 这 样 它 仍 然 是 在 第 一 个 子 数 
组 中 寻找 第 i 小 的 元 素 。 在 最 后 一 种 情况 中 (>. 力 ， 算 法 所 寻找 的 是 一 个 大 于 基 
准 元 素 的 数 ， 因 此 递归 将 会 模仿 小 测验 6.1 的 解决 方案 。 该 算法 只 在 划分 后 的 数 
组 的 后 半 部 分 进行 递归 ， 于 弃 基准 元 素 以 及 j -1 个 小 于 基准 的 元 素 ， 以 后 不 再 
考虑 它们 。 由 于 该 算法 最 初 所 寻找 的 是 第 i 小 的 元 素 ， 现在 就 变 成 了 在 剩 下 的 元 
素 中 寻找 第 i-j 小 的 元 素 。 


6.1.5 RSelect 的 运行 时 间 


与 随机 化 的 QuickSort 相似 ，RSelect 的 运行 时 间 也 取决 于 基准 元 素 的 选择 。 
它 可 能 发 生 的 最 坏 情况 是 什么 呢 ? 
































































































































小 测验 6.2 
如 果 每 次 选择 基准 元 素 时 总 是 选择 了 最 坏 的 情况 ，RSelect 算法 的 运行 时 间 是 
什么 ? 
(a) O(n) 
(b) O(n logn) 
(c) O(n) 
(d) OO 








(关于 正解 答案 和 详细 解释 ， 参 见 第 6.1.6 节 ) 

















现在 ， 我 们 知道 RSelect 算法 对 于 所 有 可 能 出 现 的 基准 元 素 的 选择 ， 它 并 不 
总 是 能 够 以 线性 时 间 运 行 。 如 果 它 通过 随机 的 方法 选择 基准 元 素 , 它 的 平均 运行 
时 间 是 否 能 够 达到 线性 时 间 呢 ? 我 们 一 开始 先 确定 一 个 更 为 温和 的 目标 : 是 不 是 
存在 一 些 基 准 元 素 的 选择 ， 使 RSelect 能 够 以 线性 时 间 运 行 ? 


什么 才 是 良好 的 基准 元 素 ? 答案 与 QuickSort (参见 第 5.3 节 ) 相同 : 良好 
的 基准 元 素 保 证 了 递归 调用 所 接受 的 是 明显 更 小 的 子 问题 。 最 坏 情 况 场 景 是 所 选 
择 的 基准 元 素 导 臻 最 不 平衡 的 划分 ,其 中 一 个 子 数组 为 空 ,， 另 一 个 子 数组 保留 了 
除 基准 元 素 之 外 的 所 有 元 素 〈 就 像 小 测验 6.2 一 样 )。 这 个 最 差 场景 出 现在 最 小 
元 素 或 最 大 元 素 被 选 为 基准 元 素 的 时 候 。 最 佳 场景 是 基准 元 素 的 选择 导致 了 最 平 
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j 的 划分 ， 两 个 子 数组 的 长 度 相同 "。 这 个 最 佳 场景 出 现在 中 位 元 素 被 选 为 基准 元 
素 的 时 候 。 这 个 看 上 去 有 点 像 陷入 了 循环 ， 我 们 似乎 一 开始 就 要 算出 中 位 元 素 。 
但 是 ， 理 解 RSelect 可 能 具有 的 最 佳 运行 时 间 (最 好 是 线性 时 间 !) 仍然 不 失 为 
一 种 非常 实用 的 思维 试验 。 

设 7T(n) 表 示 RSelect 在 长 度 为 n 的 数组 上 的 运行 时 间 。 如 果 RSelect 神奇 地 
在 每 次 递归 调用 时 都 能 选中 中 位 元 素 作为 基准 元 素 , 则 每 个 递归 调用 在 它 的 子 数 
组 上 执行 线性 的 工作 〈 大 部 分 是 在 Partition 子 程序 中 )， 并 在 一 半 长 度 的 子 数组 
中 进行 递归 调用 : 


EE 





































































































T(n)< 7[(2| + O(n) 
和 2 i 
Partition 等 


EN 
由 于 基准 元 素 = 中 位 元 素 









































按照 主 方法 (定理 4.1) 的 理论 ， 这 个 递归 过 程 是 正确 的 : 由 于 只 有 一 个 递 
归 调 用 (Ca = 1)， 而 子 问题 长 度 的 缩减 因子 为 2 (0=2)， 在 递归 调用 之 外 所 完成 
的 工作 是 线性 的 (d= 1)，1 =a < b=2， 符合 主 方法 的 第 二 种 情况 ， 结 果 7(n) = 
O(n)。 这 是 一 项 重要 的 安全 性 检查 :如果 RSelect 的 运气 足够 好 ， 它 能 够 以 线性 
时 间 运 行 。 

那么 ，RSelect 的 运行 时 间 一 般 更 靠近 它 的 最 佳 情况 性 能 @ (n) 还 是 更 靠近 它 
的 最 差 情 况 性 能 @ (n) 呢 ?有 了 随机 化 的 QuickSort 的 成 功 经 验 后 , 我 们 可 能 希 
望 RSelect 的 执行 也 具有 接近 最 佳 情况 的 性 能 。 事 实 上 ， 尺 管理 论 上 RSelect 
有 可 能 以 @(n) 的 时 间 运 行 ， 但 我 们 在 实际 使 用 中 所 观察 到 的 它 的 运行 时 间 几 
乎 总 是 @(D。 

定理 6.1 (RSelect 的 运行 时 间 ) 对 于 每 个 长 度 n 宇 1 的 输入 数组 ，RSelect 
的 平均 运行 时 间 是 O(n)。 

第 6.2 节 提 供 了 定理 6.1 的 证 明 。 


令 人 吃惊 的 是 ，RSelect 的 平均 运行 时 间 与 读 取 输入 所 需要 的 时 间 相 比 只 是 

























































































































































































QD 我 们 忽略 了 被 选中 的 基准 元 素 正好 就 是 需要 寻找 的 统计 顺序 这 种 幸运 情况 。 在 算法 的 最 后 儿 个 递 
归 调 用 之 外 ， 这 种 情况 发 生 的 可 能 性 很 低 。 
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多 了 一 个 常数 因子 ! 由 于 排序 需要 CQ(n log n) 的 时 间 (第 5.6 节 )， 定 理 6.1 显示 
了 选择 是 一 种 在 本 质 上 比 排 序 更 容易 的 问题 。 


对 随机 化 的 QuickSort 的 平均 运行 时 间 的 评价 (定理 5.1) 也 适用 此 处 。RSelect 
是 一 种 通用 的 算法 ， 它 的 运行 时 间 上 界 对 于 任意 的 输入 都 是 一 样 的 ,“ 平 均 ” 只 
表示 算法 所 进行 的 基准 元 素 的 随机 选择 。 与 QuickSort 相似 ， 定 理 6.1 的 大 O 表 
示 法 中 所 隐藏 的 常量 因子 相对 较 小 ，RSelect 算法 可 以 在 原 地 实现 ， 并 不 需要 分 
配 很 多 的 额外 内 存 。” 


6.1.6 “小 测验 6.1~ 6.2 的 答案 
小 测验 6.1 的 答案 


正确 答案 :(b)。 在 划分 了 数组 之 后 , 我 们 知道 基准 元 素 位 于 它 的 正确 位 置 ， 
所 有 小 于 它 的 元 素 在 它 之 前 , 所 有 大 于 它 的 元 素 在 它 之 后 。 由 于 基准 元 素 出 现在 
数组 的 第 3 个 位 置 ， 所 以 它 是 第 3 小 的 元 素 。 我 们 所 寻找 的 是 第 5 小 的 元 素 ， 它 
要 大 于 基准 元 素 。 因 此 ， 我 们 可 以 保证 第 5 个 统计 顺序 出 现在 第 二 个 子 数组 中 ， 
因此 我 们 只 需要 一 个 递归 ,我 们 在 这 个 递归 调用 中 所 寻找 的 是 哪个 统计 顺序 呢 ? 
我 们 最 初 所 寻找 的 是 第 $ 小 的 元 素 , 但 现在 我 们 已 经 丢弃 了 基准 元 素 以 及 2 个 小 
于 基准 的 元 素 。 由 于 S$-3=2， 所 以 我 们 现在 是 在 传递 给 这 个 递归 调用 的 子 数组 
中 寻找 第 2 小 的 元 素 。 

































































































































































































































































小 测验 6.2 的 答案 

















正确 答案 :(c)。RSelect 最 坏 情 况 的 运行 时 间 与 随机 化 的 QuickSort 的 相同 。 
糟糕 的 例子 与 小 测验 5.1 相同 : 假如 输入 数组 已 经 排序 ， 并 且 该 算法 反复 选择 第 
一 个 元 素 作 为 基准 元 素 。 在 每 个 递归 调用 中 , 子 数 组 的 第 一 部 分 是 空 的 ， 而 第 二 
部 分 包含 了 除 基 准 元 素 之 外 的 所 有 元 素 。 因 此 每 次 递归 调用 的 子 数组 长 度 只 比 上 
一 层 的 递归 调用 的 小 1。 每 个 递归 调用 所 完成 的 工作 〈 大 部 分 是 由 Partition 子 程 
序 完 成 的 ) 与 子 数组 的 长 度 成 正比 。 在 计算 中 位 元 素 时 ， 大 概 共有 n/2 个 递归 调 








































































































G 原 地 实现 使 用 左右 端点 记录 当前 子 数组 ， 就 像 在 第 5.2.5 节 QuickSort 的 伪 码 中 一 样 。 另 外 的 例子 可 
以 参照 编程 题 6.5。 
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用 ， 


为 了 证 











线性 时 间 级 的 选择 上 





每 个 递归 调用 的 子 数组 长 度 至 少 为 w2， 因 


“6.2 




















种 方法 是 沿 




















RSelect 的 分 析 











此 总 体 运行 时 间 是 8 (7)。 


明 RSelect 算法 的 线性 期 望 运行 时 间 (定理 6.1)， 我 们 可 以 采取 的 一 
第 5.5 节 对 随机 化 的 QuickSort 所 进行 的 行 之 有 效 的 分 解 蓝 





图 ， 用 


指示 性 随机 变量 记录 比较 操作 的 数量 。 对 于 RSelect， 我 们 也 可 以 用 这 份 分 解 蓝图 


的 一 个 简化 实例 来 达到 目的 ， 它 对 第 5.4.3 节 所 描述 的 

















机 基准 元 素 很 可 能 是 相当 不 错 的 ; ( 边 良 好 的 基准 元 素 可 以 产生 快速 的 ; 



























































6.2.1 ”根据 阶段 追 味 进 展 


我 们 已 经 注意 到 RSelect 在 它 的 递归 调 























j 之 外 完成 O(n) 的] 


觉 进 行 了 











EB 式 化 : 0) 随 
展 。 




















[ 作 ， 主 要 是 在 











Partition 调用 中 。 也 就 是 说 ， 存 在 一 个 常数 c> 0: 





cn 个 操作 。 


由 于 RS 


(*) 对 于 每 个 长 度 为 的 输入 数组 ，RSelect 在 它 的 递归 调用 2 





具 昌 只 





| 造 
5 





elect 心 碟 人 六 市 





组 的 长 度 来 追踪 它 的 进展 ， 
起 见 ， 我 们 将 使 用 这 
用 所 处 理 的 数组 的 长 度 为 m 对 了 





3 














是 在 


ME 


不 


忆 


例如 ，RSelect 的 最 外 
始 输入 数组 75% 以 上 的 子 数组 上 操作 的 。 在 元 素数 量 为 原始 数组 的 


56% 和 75% 之 间 的 子 数组 上 进行 的 递归 调用 属 




















个 递归 调用 ， 我 们 可 以 通过 它 当前 所 操作 的 子 数 





























方法 的 一 个 粗粮 














' 进 展 测 二 








目 .之 间 ， 我 们 就 表示 RSelect 的 这 个 递归 调用 位 于 阶段 六 
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可 以 对 它 进行 


层 调 


更 精细 的 分 析 ， 产 生 运 行 时 间 上 界 更 好 的 常数 


j 总 是 处 于 阶段 0， 因 




















阶段 1， 























为 任何 后 续 


因为 子 数 组 的 长 度 随 着 时 间 的 推移 而 不 断 变 小 。 简 单 
版 本 ?9。 假 设 RSelect 的 外 


F 整 数 /0， 如 果子 数组 的 长 度 位 于 | 3 局 省 





屋 调 


至 


的 递归 调用 








接 下 来 依 此 类 





YN *6.2 RSelect 的 分 析 


























。 在 阶段 7s*logay4m， 子 数组 的 长 度 最 多 为 1， 因 此 不 
对 于 每 个 7 宇 0， 用 及 表 示 等 于 阶段 7 的 递归 调用 数量 的 随机 变量 。 久 可 以 小 

到 只 有 0， 因 为 某 个 阶段 可 能 被 完整 地 跳 过 

RSelect 能 够 生成 的 最 大 递归 调用 数量 。 











和 有 其 他 递归 调用 产生 



































。 它 当然 也 不 可 能 大 于 n， 也 就 是 















































民 据 定理 〈(*)，RSelect 在 每 个 阶段 7 的 递归 调 























中 ， 最 多 执行 的 操作 数 如 下 。 


Ne 2 
最 大 子 数组 长 度 ( 阶 段 让 





接着 ， 我 们 可 以 围 








绕 不 同 的 阶段 分 解 RSelect 的 运行 时 间 : 


4 

Ve 

每 个 调用 完成 的 
工作 阶段 让 


n 


J 
RSelect 的 运行 时 间 三 于 Xe G 


7 0. Nv 














其 月 
《阶段 万 




















RSelect 的 这 个 运行 时 间 上 界 是 个 复杂 的 随机 变量 ， 但 它 是 一 些 更 简单 的 随 
机 变量 〈 各 个 万) 的 加 权 之 和 。 读者 在 此 刻 的 第 一 反应 应 该 是 采用 线性 期 望 值 ( 定 
里 B.1)， 把 复杂 随机 变量 的 计算 简化 为 更 简单 的 随机 变量 的 计算 : 




















































































































E[RSelect 的 运行 时 间 ] 么 oz E[X,] (6.1) 


j20 
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因此 E[X ] 是 什么 呢 


6.2.2 ”人 简化 为 皂 人 硬币 






































为 了 确定 阶段 j 的 递归 调用 的 期 户 值 ELX ] 的 上 界 , 我 们 还 需要 完成 两 个 任务 。 
首先 ， 当 我 们 选择 了 一 个 相当 不 错 的 基准 元 素 时 ， 我 们 就 进入 下 一 阶段 。 如 第 5.4.3 
节 所 述 ， 我 们 所 定义 的 近似 中 位 元 素 是 指 子 数组 中 至 少 有 25% 的 元 素 小 于 它 并 且 
至 少 有 25% 的 元 素 大 于 它 。 在 













































































围绕 这 样 的 基准 元 素 进 行 划分 之 后 的 情形 是 


jy 人: 
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近似 中 位 元 素 


区 
数组 的 25%~75% 数组 的 25%~75% 


不 管 在 RSelect 中 触发 了 哪个 条 件 ， 递 归 调 用 所 接受 的 子 数组 的 长 度 最 多 只 
有 前 一 个 调用 的 3/4， 因 此 属于 一 个 后 面 的 阶段 。 这 个 论据 证 明了 命题 6.2。 


命题 6.2〈 近 似 中 位 元 素 推动 进展 ) 如 果 一 个 阶段 的 递归 调用 选择 了 一 个 
近似 中 位 元 素 ， 则 它 的 下 一 个 递归 调用 属于 阶段 7+ 1 或 者 更 后 面 的 阶段 。 

其 次 ， 如 第 5.4.3 节 所 证 明 的 那样 ， 递 归 调 用 具有 相当 大 的 机 会 选中 一 个 近 
似 中 位 元 素 。 

命题 6.3〈 近 似 中 位 元 素 是 充裕 的 ) 调用 RSelect 时 ， 选 择 一 个 近似 中 位 元 
素 的 概率 至 少 为 50%。 


例如 ， 在 一 个 包含 元 素 {1, 2，…, 100} 的 数组 中 ， 从 26 到 75 的 50 个 元 素 都 
是 近似 中 位 元 素 。 

命题 6.2 和 命题 6.3 允许 我 们 用 一 个 简单 的 掷 硬币 试验 来 代替 阶段 7 的 递归 
调用 。 假设 有 一 枚 硬币 , 它 的 正面 朝 上 和 反面 朝 上 的 可 能 性 相同 。 反 复 搓 这 枚 硬 
币 ， 第 一 次 正面 朝 上 的 时 候 就 停止 ， 并 用 N 表示 已 掷 硬 币 的 次 数 〈 包 括 最 后 一 
次 )。 我 们 可 以 把 “硬币 正面 朝 上 ”对 应 于 选择 一 个 近似 中 位 数 〈 并 结束 掷 硬币 
试验 )。 

命题 6.4〈 简 化 为 游 硬币 〉 对 于 每 个 阶段 j,E[%] 和 EI[N]。 
证 明 : 蕊 和 的 定义 的 所 有 区 别 仅 在 于 前 者 的 期 望 值 只 可 能 更 小 。 

1. 有 可 能 阶段 7 的 递归 调用 不 存在 《因为 这 个 阶段 可 能 会 被 完整 地 跳 过 )， 
是 至 少 总 有 一 次 搓 硬 币 〈 第 一 次 )。 

2. 每 次 掷 硬币 正好 有 5$0% 的 机 会 再 搓 一 次 〈 在 反面 朝 上 时 )。 命 题 6.2 和 命 
题 6.3 提示 了 每 个 阶段 7 的 递归 调用 至 少 有 50% 的 机 会 延长 这 个 阶段 ， 它 的 必要 
条 件 是 没有 找到 近似 中 位 元 素 。Q.e.d. 
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HN *6.2 RSelect 的 分 析 














随机 变量 N 是 个 参数 值 为 5 的 几何 随机 变量 。 在 教科 书 或 者 网 上 查阅 它 的 

















期 望 值 ， 我 们 可 以 发 现 E[N] =2。 我 们 也 可 以 用 一 种 投机 取 巧 的 方式 得 到 这 个 结 
论 ， 就 是 根据 它 自身 写 出 N 的 期 望 值 。 关 键 的 思路 是 利用 随机 试验 无 记忆 这 个 
事实 : 如 果 第 一 次 折 硬 币 的 结果 是 反面 朝 上 ， 剩 下 的 试验 是 对 原始 试验 的 备份 。 


在 数学 上 ， 不 管 V 的 期 望 值 是 什么 ， 它 必须 满足 下 面 这 个 关系 : 





















































1 
EIN]= 1 + 二 . EN] 
Ed 2 np 
第 一 次 掷 一 一 更 多 次 的 抛掷 
Pr[ 反 面 ] 








黄 足 这 个 等 式 的 E[N] 的 唯一 值 是 2。” 
命题 6.4 提示 了 这 个 值 正 是 我 们 所 关心 的 上 界 ， 也 就 是 阶段 j 的 递归 调用 的 





Po 











推论 6.5〈 每 个 阶段 2 个 调用 ) 对 于 每 个 j,，E[X] < 2。 
6.2.3 ”综合 结论 


现在 我 们 可 以 使 用 推论 6.5 的 上 界 作 为 下 [号 的 上 界 , 来 简化 RSelect 的 期 望 
运行 时 间 的 上 界 : 








了 7 
ERselect 的 运行 时 间 ]<en 3] EX1<2en 允 (3 
J 三 0 j 三 0 
































(3| 看 上 有 点 复杂 ， 但 这 已 经 是 我 们 辛苦 努力 之 后 所 获得 的 成 果 。 我 们 


二 人 4 
/=0 

在 第 4.4 节 讨 论 了 主 方法 之 后 ， 又 在 第 4.4.8 节 进 行 了 几何 级 数 的 讨论 之 旅 ， 并 
引申 出 准确 的 公式 (4.6): 
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十 

本 
[> 
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" 昌 

Il 





对 于 每 个 实数 去 1 和 非 负 整数 k。 当 xr< 1 时， 不管 上 有 多 大 ， 这 个 等 式 的 

















QD 严格 地 说 ， 我 们 还 需要 排除 E[N] = +ce 这 个 可 能 性 〈 这 个 并 不 困难 ) 。 
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最 大 值 是 一 。 代 入 =， 可 以 得 
se 











性 时 间 级 的 选择 





| 





>(3] 及 周二 =4 
ZN\4 1 _ 


3 
4 


因此 E[RSelect 的 运行 时 间 ] 志 8cn = O(n)。 
这 样 ， 我 们 就 完成 了 RSelect 的 分 析 以 及 定理 6.1 的 证 明 。Q.e.d. 


RSelect 








算法 


和 下 
明确 

















所 进行 





*6.3 DSelect 算法 




















算法 对 于 每 个 输入 都 以 预期 的 线性 时 间 运 行 ， 这 个 期 望 值 是 建立 在 












































的 随机 选择 的 基础 之 上 。 线 性 时 间 选 择 是 否 一 定 需要 随机 化 ? “本 节 
人 




















节 将 用 
的 答案 。 
对 于 排序 问题 ， 随 机 化 的 O(n log n) 平 均 运行 时 间 与 确定 性 算法 MergeSort 


个 确定 性 的 线性 时 间 算 法 来 解决 选择 问题 , 从 而 给 这 个 问题 一 个 


















































旗 鼓 相当 ，QuickSort 和 MergeSort 在 实践 中 都 是 极为 常用 的 算法 。 与 此 形成 


鲜明 


对 照 的 




















是 ， 本 节 所 描述 的 确定 性 线性 时 间 选 择 算法 在 实际 使 用 中 是 没有 



































问题 的 ， 但 它 却 无 法 与 RSelect 竞争 。 造 成 这 个 结果 的 原因 有 两 个 , 一 是 它 的 
运行 时 间 的 


的 内 





























常数 因子 比较 大 , 二 是 DSelect 所 完成 的 工作 需要 分 配 和 管理 额外 
































但 是 ， 这 种 算法 的 思路 仍然 非常 好 ， 我 忍 不 住 要 向 读者 介绍 。 
6.3.1 基本 思路 : 中 位 的 中 位 元 素 


RSelect 算法 的 速度 很 快 , 因为 随机 选择 的 基准 元 素 一 般 是 良好 的 , 能 够 对 















































输入 数组 进行 大 致 平衡 的 划分 ， 展 好 的 基准 元 素 能 够 实现 快速 的 进展 。 如 果 我 


中 在 

















更 广泛 的 





度 理 解 随机 化 在 计算 中 的 威力 是 一 个 很 深入 的 问题 , 也 是 计算 机 理论 科学 领域 中 一 个 持 

















续 被 积极 探索 的 主题 。 


YN *6.3 DSelect 算法 

















们 不 能 使 用 随机 化 ， 怎 么 才能 在 不 增加 太 多 工作 量 的 前 提 下 选择 良好 的 基准 元 
素 呢 ? 

确定 性 线性 时 间 选 择 算法 的 基本 思路 是 使 用 “中 位 的 中 位 ”作为 真正 中 位 元 
素 的 替代 品 。 这 个 算法 把 输入 数组 的 元 素 看 作 运动 队 ， 并 进行 一 场 两 轮 的 淘汰 赛 ， 
冠军 就 是 基准 元 素 ， 如 图 6.1 所 示 。 































































































输入 数组 (参赛 队伍 ) 9 
组 中 位 元 素 (第 一 轮 胜 者 ) 1017|9 









































1s|s slo | 4a| sl 

















CN 
Ea 
So 
iD 
一 
1 
王 
下 


中 位 的 中 位 (冠军) | 1 








第 一 组 第 二 组 第 三 组 


图 6.1 用 一 场 两 轮 的 淘汰 赛 来 选择 基准 元 素 。 在 这 个 例子 中 ,被 选中 的 基准 元 素 并 不 是 输入 
数组 的 真正 中 位 数 ， 但 相当 接近 





























































































































第 一 轮 是 小 组 赛 ， 输 入 数组 位 置 1 一 5 的 元 素 被 分 到 第 一 组 ， 位 置 6 一 10 的 
元 素 被 分 到 第 二 组 , 接 下 来 以 此 类 推 。 第 一 轮 每 个 组 的 胜 者 被 定义 为 中 位 元 素 ( 即 
第 3 小 的 元 素 )。 由 于 共 约 有 二 个 小 组 ， 所 以 第 一 轮 大 约 有 < 个 胜 者 。 (按照 





















































惯例 ， 简 单 起 见 ， 我 们 忽略 了 小 数 部 分 )。 我 们 把 比赛 的 胜 者 定义 为 第 一 轮 胜 者 
的 中 位 元 素 。 


6.3.2 DSelect 的 伪 码 














我 们 是 怎么 计算 中 位 的 中 位 元 素 呢 ? 实现 淘汰 赛 的 第 一 轮 是 非常 简单 的 , 因 
为 每 个 中 位 数 的 计算 只 涉及 5 个 元 素 。 例 如 , 每 个 小 组 的 胜 者 都 可 以 通过 穷 举 法 
来 完成 (一 共 只 有 5 种 可 能 性 ， 逐 个 检查 是 否 为 中 位 元 素 )， 或 者 使 用 简化 为 排 
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序 的 方法 (第 6.1.2 节 )。 为 了 实现 比赛 的 第 二 轮 ， 我 们 采用 递归 的 方式 计算 大 约 


5 个 第 一 轮 胜 者 中 的 中 位 元 素 。 














DSelect 
输入 : 包含 n>1 个 不 同 数 的 数组 4， 以 及 整数 i {1,2，.…,n}。 


输出 : 4 的 第 i 个 统计 顺序 。 
if n = 1 then // 基本 条 件 

















于 
2 return A[1] 

3 fornhn:=1ton/5 do // 第 一 轮 的 胜 者 
4 C[h] := 一 组 5 个 元 素 中 的 中 位 元 素 

5 p := DSelect(C，n/10 ) // 中 位 的 中 位 元 素 
6 
7 
8 
9 

















围绕 p 对 和 进行 划分 
j := p 在 划分 后 的 数组 中 的 位 置 
if j = i then // 运气 非常 好 ! 
return p 
10 else if j > i then 


























11 return DSelect (A 的 第 一 部 分 ，i) 
12 else pA 
13 return DSelect (A 的 第 二 部 分 ，i -jj) 








第 1 一 2 行 和 第 6 一 13 行 与 Rselect 的 相同 。 第 3 一 $ 行 是 这 个 算法 仅 有 的 新 增 
部 分 ， 它 们 计算 输入 数组 的 中 位 的 中 位 元 素 ， 蔡 换 RSelect 中 随机 选择 基准 元 素 
的 那 行 代 码 。 

第 3 行 和 第 4 行 计算 淘汰 赛 第 一 轮 的 胜 者 ， 使 用 穷 举 法 或 一 种 排序 算法 来 
确认 一 组 5 个 元 素 中 的 中 间 元 素 ， 并 把 这 些 胜 者 复制 到 一 个 新 的 数组 C" 中 。 
第 $ 行 通过 递归 地 计算 C 的 中 位 数 来 计算 比赛 的 最 终 胜 者 。 由 于 C 的 长 度 大 约 
是 WwWS， 因 此 胜 者 是 C 的 第 n/10 个 统计 顺序 。 这 个 算法 的 所 有 步骤 都 没有 使 用 
随机 化 。 





























































































































































































































6.3.3 理解 DSelect 











在 计算 基准 元 素 时 递归 地 调用 DSelect 看 上 去 似乎 会 陷入 危险 的 循环 。 为 了 

















GD 正 是 这 个 辅助 数组 导致 DSelect 不 像 RSelect 那样 能 够 原 地 运行 。 





YN *6.3 DSelect 算法 























理解 具体 发 生 了 什么 ， 我 们 首先 乔 清 递归 调用 的 总 数 。 











小 测验 6.3 
调用 一 次 DSelect 一 般 会 产生 多 少 个 递归 调用 ? 
(a) 0 
(b) 1 
(c) 2 





(d) 3 














正确 答案 :〈c)。 抛 开 递归 的 基本 条 件 以 及 基准 元 素 恰好 是 我 们 所 寻找 的 统 
计 顺 序 这 两 种 情况 ，DSelect 算法 会 制造 两 个 递归 调用 。 为 了 弄 情 原因 ， 我 们 不 
需要 过 度 思考 ， 只 要 逐 行 检查 DSelect 的 伪 码 就 可 以 了 。 第 5 行 有 一 个 递归 调用 ， 
然后 是 第 11 行 或 第 13 行 有 另 一 个 递归 调用 。 

关于 这 两 个 递归 调用 , 有 两 处 容易 混淆 的 地 方 。 首先 , 难道 不 是 因为 RSelect 
算法 只 制造 一 个 递归 调用 才 使 得 它 的 运行 速度 快 于 排序 算法 吗 ? DSelect 既然 制 
造 了 两 个 递归 调用 ， 那 岂 不 是 放弃 了 这 个 最 重要 的 改进 ?第 6.4 节 将 会 说 明 ， 
于 第 5 行 的 额外 递归 调用 只 需要 解决 一 个 相对 较 小 的 子 问 题 (原始 数组 20% 的 
元 素 )， 因 此 它 在 总 体 上 仍然 可 以 达到 线性 时 间 。 


其 次 , 这 两 个 递归 调用 扮演 了 两 个 在 本 质 上 完全 不 同 的 角色 。 第 5 行 的 递归 
用 的 目标 是 为 当前 递归 调用 寻找 一 个 良好 的 基准 元 素 。 第 11 行 或 13 行 的 递归 
调用 的 目标 和 Rselect 的 一 样 ， 采 用 递归 的 方式 解决 当前 递归 调用 所 剩 下 的 一 个 
较 小 的 剩余 问题 。 不 管 怎 样 ，DSelect 中 的 递归 结构 符合 我 们 已 经 学 习 的 所 有 其 
分 治 算法 的 传统 : 每 个 递归 调用 制造 少量 作用 于 严格 更 小 的 子 问 题 的 递归 调 
， 并 完成 一 定数 量 的 额外 工作 。 如 果 我 们 不 担心 像 MergeSort 或 QuickSort 这 
样 的 算法 会 永远 运行 下 去 ， 也 不 必 对 DSelect 存 有 这 个 担心 。 
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6.3.4 ”DSelect 的 运行 时 间 




















DSelect 算法 不 仅 是 一 个 具有 良好 定义 的 程序 ， 它 能 够 在 有 限 的 时 间 内 完成 
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第 6 章 线性 时 间 级 的 选择 上 











王 务 。 它 能 够 以 线性 时 间 运 行 ,与 读 取 输 入 相 比 ， 只 是 增加 了 一 个 常数 因子 级 的 
其 他 工作 。 
定理 6.6 (DSelect 的 运行 时 间 ) 对 于 每 个 长 度 为 n(n 三 1) 的 输入 数组 ，DSelect 
的 运行 时 间 是 O(n)。 
和 RSelect 的 运行 时 间 不 同 ， 后 者 的 最 坏 情 况 在 原则 上 可 以 达到 @(n”)， 而 
DSelect 的 运行 时 间 总 是 O(n)。 但 是 , 在 实际 使 用 中 , 还 需要 应 该 优先 选择 RSelect 
而 不 是 DSelect， 因 为 前 者 是 在 原 地 运行 的 ， 而 定理 6.1 的 平均 运行 时 间 “O(n》” 
所 隐藏 的 常数 因子 要 小 于 定理 6.6 所 隐藏 的 常数 因子 。 
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一 支 计 算 机 科学 超级 队伍 


《算法 详解 》 系 列 的 其 中 一 个 目标 是 让 著名 的 算法 看 上 去 变 得 简单 ( 至 
少 是 从 事后 诸葛 的 角度 )， 使 读者 党 得 自己 也 能 够 想 出 它们 ， 只 要 自己 在 
正确 的 时 间 处 于 正确 的 位 置 。 


几乎 不 会 有 人 对 DSelect 也 产生 同样 的 感觉 ， 因 为 它 是 由 一 支 包 含 5 


名 研究 人 员 的 计算 机 科学 超级 队伍 所 发 明 的 ,其 中 4 人 获得 过 号 称 计算 机 
科学 界 的 诺 贝 尔 奖 的 ACM 图 灵 奖 (都 是 因为 不 同 的 成 就 获奖 ! )9. 因此 ， 
即使 读者 觉得 DSelect 完全 不 是 自己 的 思维 所 能 想象 (即使 是 在 自己 创造 
力 最 强 的 时 候 ) 的 ， 也 不必 灰 心 表 气 。 就 像 在 网 球场 上 击败 罗 杰 : 费德勒 
是 极为 困难 的 一 样 ， 更 何况 这 支 超级 队伍 里 有 5 个 这 种 级 别 的 人 物 !。 








QD 这 个 算法 以 及 它 的 分 析出 现 于 论文 Times Bounds for Selection 中 ， 作 者 Manuel Blum、Robert W. Floyd、 
Vaughan Pratt、Ronald L. Rivest 和 Robert E. Tarjan〈《 计 算 机 和 系统 科学 期 刊 》，1973) 。 (一 篇 论 
文 有 5 位 作者 是 极为 罕见 的 。) 按照 时 间 的 先后 : Floyd 于 1978 年 因为 在 算法 以 及 编程 语言 和 编译 
器 方面 所 做 出 的 贡献 而 获得 图 灵 奖 。Tarjan 于 1986 年 (与 John E. Hopcroft 一 起 ) 因为 在 算法 和 数据 
结构 方面 的 成 果 〈 将 在 算法 谜 题 系列 的 最 后 一 部 讨论 ) 而 获奖 。Blum 于 1995 年 获奖 ,主要 是 因为 他 

在 密码 学 方面 的 杰出 贡献 。Rivest 于 2002 年 和 Leonard Adleman 和 Adi Shamir 一 起 因为 公 钥 密码 系 

统 的 成 就 而 获奖 ，RSA 中 的 RR 就 是 他 。 另 外 ，Pratt 因为 全 能 而 闻名 于 此 ， 他 的 成 就 小 到 原始 测试 算 

法 ， 大 到 共同 创立 Sun Microsystems ! 
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*6.4 DSelect 的 分 析 

















DSelect 是 不 是 真 的 能 以 线性 时 间 和 运行? 它 看 上 去 像 是 完成 了 相当 夸张 的 工 
































作 量 ， 它 有 两 个 递归 调 























们 所 看 到 过 的 每 种 具有 两 个 或 更 多 个 递归 调 














n) 或 更 差 。 
































6.4.1 递归 调用 之 外 所 完成 的 工作 

















首先 ， 让 我 们 理解 DSelect 调 月 








]， 并 且 在 递归 调用 之 外 也 需要 完成 很 多 额外 的 工作 。 我 
的 其 他 算法 的 运行 时 间 是 9(n log 


























在 它 的 递归 调用 之 外 所 完成 的 操作 数量 。 这 








两 个 需要 相当 大 工作 量 的 步骤 分 别 是 计算 第 一 轮 的 胜 者 《第 3 一 4 行 ) 以 及 围绕 














中 位 的 中 位 对 输入 数组 ; 








行 划 分 (第 6 行 )。 











和 QuickSort 或 RSelect 一 样 ， 第 二 个 步骤 也 是 以 线性 时 间 运 行 的 。 那 么 第 


一 个 步骤 是 怎么 样 的 呢 ? 





























我 们 把 注意 力 集中 在 一 个 特定 的 5 元 素 小 组 中 。 由 于 元 素 的 数量 是 固定 的 
(与 输入 数组 的 长 度 n 无 关 )， 因 此 计算 中 位 元 素 只 需要 常数 级 的 时 间 。 例 如， 假 
设 我 们 采用 简化 为 排序 的 方法 (第 6.1.2 节 )， 








MergeSort 的 工作 量 是 了 如 指 掌 的 (定理 1.2)， 对 
最 多 需要 6m(log2 m+ 1) 的 操作 。 我 介 





线性 时 间 运 行 的 。 







































































但 是 ， 我 们 只 是 在 常数 长 度 (m= 5) 的 子 数组 上 调用 MergeSort， 因 此 




















执行 常数 级 〈 每 个 子 数 组 最 多 执行 6x5x(log, 5 + 1) 三 120)〉 的 操作 。 由 于 一 共有 


























例如 使 用 MergeSort。 我 们 对 
一 个 长 度 为 m 的 数组 进行 排序 








] 可 能 担心 的 是 MergeSort 算法 本 身 并 不 是 以 












































n/5 个 小 组 需要 进行 排序 ， 这 样 总 共 最 多 就 是 120 : n/5 = 24n = O(n) 的 操作 。 我 人 














可 以 得 出 结论 ， 在 它 的 递归 调用 之 外 ，DSelect 售 























6.4.2 一 个 粗略 的 递归 过 程 


在 第 4 章 中 , 我 们 使 

















递归 过 程 对 分 治 算法 





法 所 完成 的 是 线性 的 工作 量 。 











行 了 分 析 。 递归 过 程 根据 递归 

















可 




















调用 所 执行 的 操作 数量 表达 算法 的 运行 时 间 上 界 7(n)。 我 们 在 这 里 尝试 同样 的 方 
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第 6 章 


线性 





法 ,让 Tom) 表示 
时 ，DSelect 简 














单 地 返 





回 唯 
































算法 在 第 5 行 第 
执行 O(n) 级 的 额外 工作 (包括 划分 、 











| 造 








个 递归 调用 ， 


时 间 级 的 选择 任 


的 数组 元 素 ， 因 
另 一 个 递归 调 























* DSelect 对 长 度 为 n 的 输入 数组 所 执行 的 最 大 操作 数量 


里 。 

















此 7T(1)=1。 
































计 人 








转换 为 一 个 具有 下 面 这 种 形式 的 递归 过 程 : 
人 


为 了 





个 








所 寻找 的 统计 顺 / 














多 | 














计 











和 复制 | 委 





= 


bE 


出 现在 第 11 行 或 第 
轮 的 胜 者 )。 我 





当 n=1 


对 于 更 大 的 n，DSelect 








DSelect 的 运行 时 间 ， 我 们 需要 理解 
问题 的 长 度 。 第 一 个 子 问题 (第 5 行 ) 的 长 度 是 n/5， 表 示 第 


我 们 不 知道 第 二 个 子 问 题 的 长 度 , 它 依赖 于 








=n/5 
































能 够 保证 





13 行 的 子 问题 并 不 大 太 呢 ? 





齐 是 小 于 还 是 大 于 这 
A AO a Sr ai 
在 真正 的 中 位 元 素 被 选 作 基 准 元 素 这 
n/2 个 元 素 所 组 成 。 
否 足 够 接近 、 


个 基准 

















"特殊 的 1 





6.4.3 30-70 辅助 结论 


DSelect 全 

















法 的 分 析 核 , 


心 是 下 面 这 个 畏 





























了 计算 中 位 的 中 位 元 素 所 进行 的 辛苦 








30% 一 70% 或 更 好 的 划分 。 


工作 : 





十 

















13 行 ， 并 
门 可 以 把 它 


笃 它 的 两 个 递归 调用 所 解决 的 子 
轮 的 胜 者 数量 。 


哪个 元 素 被 选 作 基 准 元 素 以 及 它 














元 素 。 子 问题 长 度 的 不 确定 性 正 是 我 








对 输入 数组 进行 近似 平衡 的 划分 ， 








这 个 基准 元 素 保证 














名 











和 个 








因 。 

青 况 下 ， 第 二 个 子 问 题 保 证 最 
中 位 的 中 位 元 素 一 般 并 不 是 真正 的 中 位 数 〈 
从 而 使 第 11 行 或 第 





6.1)。 它 


助 结论 ， 它 所 获得 的 收益 足以 抵消 为 
对 输入 数组 进行 


辅助 结论 6.7〈30-70 辅助 结论 ) 对 于 每 个 长 度 n 宇 2 的 输入 数组 ， 传 递 给 


DSelect 的 第 11 行 或 第 13 行 的 递归 调 











QD 严格 地 说 ， 


应 该 是 二 
10 


一 种 无 趣 的 方式 使 分 析 变 得 复杂 化 ， 但 对 于 运行 时 间 的 底线 并 














由 








Eel 














n+ 




















一 个 “5 元 素 小 组 ”的 元 素数 量 可 


2 向 上 取 最 接近 的 整数 。 和 忽略 小 数位 一 样 的 原 


能 小 于 5 个 (如 








我 们 





太 ， 


的 子 数组 的 长度 最 多 不 超过 人。 


果 久 并 不 是 5 的 倍数 ) ， -了 





也 忽略 了 这 个 “ 











没有 真正 的 影响 。 


十 2 


@ 


30-70 辅助 结论 允许 我 们 月 


于 每 个 n 三 2， 满 足 








我 们 首先 证 明 30-70 辅 
说 明 DSelect 是 个 线 履 


























胜 者 的 数量 。 定 义 x 为 第 一 轮 
胜 者 的 有 序 排列 。 锦 标 赛 的 冠 
则 是 xz ，,] )”。 我 们 的 计划 是 论 记 














7 





T() <7G) 1 7| 


























助 结论 ， 然 后 说 
E 时 间 的 算法 。 
辅助 结论 6.7 的 证 明 : 设 上 = w5， 表 示 5 元 素 小 组 的 数量 ， 
胜 者 中 的 第 i 小 元 素 ， 相 当 于 x1,，…: 
军 ， 即 中 位 的 

















10 








" +H O(n) 











也 





> 
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上 7 蔡 换 上 面 这 个 粗略 的 递归 过 程 中 的 “?” 对 


(6.2) 


FE 明 递归 过 程 〈 见 不 等 式 〈6.2)) 能 


第 一 轮 





就 是 
起 


Xk 


第 一 轮 





位 元 素 是 XK/2 (如 果 k 是 奇数 ， 
FE zip 不 小 于 50% 的 5 元 素 小 组 中 至 少 60% 的 


元 素 , 并 且 不 大 于 50% 的 小 组 中 至 少 60% 的 元 素 。 至 少 有 60%X50% = 30% 的 输 
30% 的 元 素 不 会 小 于 中 位 


入 数组 元 素 将 不 会 大 于 中 位 的 9 


的 中 位 元 素 : 


为 了 实现 这 个 计划 ， 考 虑 下 画 
际 的 算法 中 ), 我 们 把 所 有 的 输入 数组 元 素 以 二 维 的 网 格 形式 排列 。 
n/5 个 列 中 的 每 一 列 对 应 于 其 中 
到 项 排列 这 5 个 元 素 。 最终, 我们 对 所 有 的 列 完 成 排列 ,使 第 一 轮 的 用 
间 行 的 元 素 ) 从 左 到 右 排序 。 例 如 ， 如 果 输入 数组 是 : 




















P 位 元 素 ， 


中 位 的 中 位 





首 且 至 少 有 




















一 


数组 的 30%~70% 


数组 的 30%~70% 


























这 个 思 














给 






































实验 。 在 我 们 的 思维 中 《并 不 是 在 实 


一 共有 5 行 ， 
个 5 元 素 小 组 。 在 每 一 列 中 ， 我 们 按 顺 序 从 底 





FE 者 〈《 即 中 














11 





0 


10 


























14| 3 











CN 








13 








则 对 应 的 网 格 是 : 





@ [x| 这 种 记 法 表示 “天 花 板 ”函数 ， 它 把 参数 向 上 取 最 接近 的 整数 。 
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基准 元 素 (9 





线性 时 间 级 的 选择 人 





加 8- 国 S 国 加 加 


























位 的 中 位 元 素 ) 位 于 中 心 位 置 。 


























关键 的 观察 结果 


由 于 中 间 那 行 是 从 左 向 右 排 序 的 , 而 每 一 列 又 是 从 底 到 顶 排 序 的 ， 所 


有 在 基准 元 素 左 边 和 下 面 的 元 素 都 小 于 基准 元 素 , 所 有 在 基准 元 素 右 边 和 
上 面 的 元 素 都 大 于 基准 元 素 。” 





在 我 人 
在 它 右边 和 上 面 的 元 素 是 {10, 11, 12, 13, 15}。 因 
调用 的 子 数组 之 外 ， 被 排 





递 给 下 一 个 递归 
12, 13, 15} 
种 ， 下 一 个 递归 


递归 条 件 的 论证 也 是 一 样 。 




































































由 于 基准 元 素 是 中 间 那 行 的 中 位 元 素 ， 因 
列 ) 位 于 包含 基准 元 素 的 那 一 列 的 左边 。 在 这 些 列 中 ， 至 少 有 60% 的 元 素 (5 中 
此 它 不 会 大 于 基准 元 素 。 














QD 基 


涌 


有 3) 不 大 于 该 列 的 中 位 元 素 ， 因 





站 的 例子 中 ， 基 准 元 素 是 “9” 在 它 左 边 和 下 面 
此 , 至 少 有 6 个 元 素 被 排除 在 传 








的 元 素 是 {1, 3, 4, 5, 7}， 


























除 的 元 素 要 么 是 基准 元 素 9 和 {10，11， 
(第 11 行 )， 要么 是 基准 元 素 9 和 {1,3,4,5,7} (第 13 行 )。 不管 是 哪 
调用 最 多 接受 9 个 元 素 的 子 数组 ， 而 9 不 到 15 的 70%。 











图 6.2 描述 了 一 个 任意 的 输入 数组 的 网 格 的 样子 。 
































此 至 少 有 50% 的 列 ( 包 括 基准 所 在 的 






































EE 元素 左上 的 元 素 和 右 下 的 元 素 可 以 认为 是 小 于 基准 元 素 或 大 于 基 疹 











E 元 系 。 
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因此 ， 至 少 有 30% 的 输入 数组 元 素 不 大 于 基准 元 素 ， 这 些 元 素 都 被 排除 在 
第 13 行 的 递归 调用 之 外 。 类 似 ， 至 少 有 30% 的 元 素 不 小 于 基准 元 素 ， 这 些 元 素 
都 被 排除 在 第 11 行 的 递归 调用 之 外 。 这 样 ， 我 们 就 完成 了 30-70 辅助 结论 的 证 
明 。 Q.e.d. 

























































































6.4.4 解析 递归 过 程 





























30-70 辅助 结论 提示 了 输入 数组 的 长 度 在 DSelect 的 每 个 递归 调用 中 都 根据 
一 个 常数 因子 进行 缩减 ， 对 于 DSelect 实现 线性 运行 时 间 而 言 这 是 个 好 兆头 。 但 
它 是 不 是 得 不 偿 失 呢 ? 计算 中 位 的 中 位 元 素 所 付出 的 代价 能 否 因为 良好 的 基准 
元 素 所 带 来 的 良好 划分 而 得 到 补偿 呢 ? 为 了 回答 这 些 问 题 ， 并 完成 定理 6.6 的 订 
明 ， 我 们 需要 推 疡 出 公式 〈6.2) 的 递归 过 程 的 结果 。 

































































my 


























































































































不 小 于 基准 元 素 >50% 的 列 
Vy Vv Vy Vv Vv 
Se | | 60% 的 行 
V V V | VY ”基准 元 素 V | 
hte 
X1 | < x < | 和 | < < 回 | 人 < Ix 
0 Oe RA 
V V V V Vy 
60% 的 行 | Pe | ds 
| V V V V V 





















































026 的 列 不 大 于 基准 元 素 

图 6.2 30-70 辅助 结论 的 证 明 。 想 像 输 入 数组 的 元 素 分 布 于 网 格格 式 。 每 一 列 对 应 于 一 个 5 
元 素 小 组 ， 从 底 至 顶 排序 。 列 与 列 之 间 是 根据 它们 的 中 位 元 素 进行 排序 的 。 图 6.2 假设 大 是 偶 
数 。 如 果 是 奇数 ， 则 “xw2” 就 用 “x| wz | ”代替 。 中 位 的 中 位 元 素 西南 方向 的 元 素 只 可 能 
小 于 它 ， 它 的 东北 方向 的 元 素 只 可 能 大 于 它 。 因 此 ， 至 少 有 60%X50% = 30% 的 元 素 被 排除 在 
两 个 可 能 的 递归 调用 的 其 中 一 个 之 外 
























































































































































由 于 DSelect 算 法 在 它 的 递归 调用 之 外 完成 O(n) 的 工作 (计算 第 一 轮 的 胜 者 ， 
对 数组 进行 划分 等 )， 因 此 有 一 个 常数 c> 0， 对 于 每 个 z>2， 满 足 
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1 7 
ro <7 (3 | 全 





小 


(6 


.3) 


其 中 TU 是 DSelect 在 长 度 为 n 的 数组 上 的 运行 时 间 上 界 。 我 们 可 以 认为 c 








过 1〈 因 为 随 着 e 的 增 大 ， 并 不 会 使 不 等 




















我 们 将 要 看 到 的 那样 ， 这 个 递 明 过 程 的 关键 属性 是 <+ -< 1 。 


我 们 依靠 主 方法 第 4 章 ) 来 评估 我 们 到 目前 为 





包括 MergeSort、Karatsuba、Strassen 等 





然后 就 可 以 得 到 该 算法 的 运行 时 间 上 界 。 遗 憾 和 








10 











对 式 (6.3) 不 成 立 )。 另 外 ，7T(1) = 1。 














正如 


上 所 遇 到 的 所 有 递归 过 程 ， 


。 我 们 代入 3 个 相关 参数 (a、b 和 d)， 

















具有 不 同 的 长 度 ， 这 就 排除 了 应 用 定理 


























行 扩展 使 之 适用 于 公式 (6.3) 的 递归 过 程 是 可 行 的 。 "由 于 各 种 原 









































EE 
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6.4.5” 先 猜 后 验方 法 








读者 的 工具 箱 中 增加 另 一 个 工具 ， 接 下 来 我 人 





罗 是 ，DSelect 上 
4.1 的 可 能 。 对 定 蛋 





























ss eal 

















不 过 它 也 是 一 种 极端 灵活 的 方法 ， 适 用 于 任意 狂 
步骤 1: 猜 。 猜 测 函 数 一 个 ftn) 满 足 T(n) = O00(n))。 





~ 





~ 





于 评估 递归 过 程 的 先 猜 后 验方 法 就 像 它 的 字面 意思 一 样 ， 是 






























































线性 时 间 上 界 ， 因 此 就 猜测 T(n) = O(n)。 
数 n， 均 有 一 个 常数 1>0 (不 依赖 于 n)， 满 足 


T(W <1.n 











“也 就 是 说 ， 我 们 猜测 ; 














Q 对 于 假设 论证 ， 考 虑 DSelect 的 第 一 对 递归 调 


， 即 该 算法 


























归 调 用 接受 输入 数组 20% 的 元 素 ， 另 一 个 递归 























成 的 工作 量 与 两 个 子 问 题 长 度 之 和 呈 线 性 关系 。 




















野 的 递归 过 程 。 


步骤 2: 验 。 用 归纳 法 证 明 7(n) 确 实 是 On))。 
一 般 而 言 ， 猜 测 步骤 有 点 像 黑 暗 艺 术 。 在 当前 的 例子 中 ， 








0D 
本 


























对 于 





的 两 个 递归 调用 
4.1 的 递归 树 参 数 进 
因 ， 并 且 为 了 
] 将 使 用 另 一 种 不 同 的 方法 。 


临时 措施 ， 


于 我 们 试图 证 明 
每 个 正 整 


(6.4) 
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最 多 接 














大 








b, 第 一 层 





的 递归 树 第 一 层 的 二 个 节点 。 
受 包含 输入 数组 70% 的 元 素 ， 这 一 层 























90%。 对 于 后 面 的 递归 树 层 ， 可 以 以 此 类 推 。 这 个 




















第 4.4.6 节 所 述 ) 。 








@ 对 我 们 来 说 ,“ 先 希望 后 验证 ”是 个 更 适当 的 术语 。 








工作 量 按照 某 个 常数 因子 缩减 。 这 个 类 比 提示 了 根 


Ls] 














看 上 去 像 
层 所 执行 





所 完成 的 工作 量 最 多 是 第 0 





其 中 一 





是 主 方法 的 第 二 种 情况 ， 





























的 O(n) 工 作 量 决定 了 算法 


时 间 


个 递 
所 完 


层 工作 量 的 
也 就 是 每 
的 运行 


层 的 
(如 
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如 果 这 个 猜测 是 正确 的 ， 由 于 1 是 个 常数 ， 所 以 就 证 实 了 我 们 的 希望 T(n) = 





O(n)。 
在 验证 公式 (6.4) 时 ， 


n。 与 渐进 性 表示 法 的 证 明 相似 ， 确 定 适当 常量 的 正常 方式 是 对 它 进行 逆向 工程 
(如 第 2.5 节 所 述 )。 在 这 里 ， 我 们 将 取 1=10c， 其 中 c 是 公式 (6.3) 中 的 常数 因 




















我 们 可 以 自由 地 选择 自己 想 要 的 1 ， 只 要 它 不 依赖 于 







































































子 。( 由 于 c 是 常数 ， 所 以 1 也 是 常数 。) 这 个 数 是 从 哪里 来 的 呢 ? 它 是 下 面 的 不 
等 式 〈6.5) 成 立 的 情况 下 的 最 小 常数 。 
我 们 通过 数学 归纳 法 证 明 式 〈6.4)。 根 据 附 录 A 的 术语 ，P(n) 是 个 声明 ， 表 


























示 7T(n) 三 1.n=10c:n。 对 于 基本 条 件 , 我们 需要 直接 证 明 P(1) 为 真 , 意味 着 7(1) 











委 10c。 递归 过 程 明 确 表示 TU) = 1 并 且 c 宇 1, 因此 7(1) 宇 10c 当然 也 是 成 立 的 。 
在 归纳 步骤 中 ， 取 一 个 任意 的 正 整数 n 宇 2。 我 们 需要 证 明 7(n) 三 1.n。 归 








纳 假设 表示 P(1),…, P(n-1) 





























都 为 真 ， 意 思 是 对 于 所 有 的 k<n, 均 有 7T(k) 三 1:k。 

















为 了 证 明 P(n)， 我 们 直接 跟着 直觉 走 。 





首先 ， 递 归 过 程式 (6 





.3) 把 7(n) 分 解 为 3 个 项 : 


rw <7( En)7 (to 


我 们 不 能 直接 操作 上 


k= 二 时 ， 另 一 次 是 当 上 = 


10 


1 ES Ld 


入 0 
(归纳 假设 ) (归纳 假设 ) 





























面 的 任何 一 项 ， 但 是 可 以 应 用 归纳 假设 ， 一 次 是 当 








7n 
一 时 。 
10 


dT 
5 10 





对 这 个 不 等 式 进行 整理 后 得 

















ras 车 (6.5) 
村 
( 当 F10c 时 ) 
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并 完成 了 具有 独创 性 的 








这 就 证 明了 用 于 验证 7T(n) 三 1.n = 0O0(n) 的 归纳 步 又 ， 
DSelect 算法 能 够 以 线性 时 间 运 行 〈 定 理 6.6) 的 证 明 。 











6.5 ”本 章 要 扣 

















Q.e.d. 


。 选择 问题 的 目的 是 找 出 一 个 未 排序 数组 的 第 i 小 的 元 素 。 
。 选择 问题 可 以 在 O(n log nn) 时间 内 解决 ,其 中 是 输入 数组 的 长 度 。 只 要 




















对 数组 进行 排序 并 返回 第 i 个 元 素 就 可 以 了 。 








。 选择 问题 也 可 以 像 QuickSort 一 样 ， 通 过 围绕 一 个 基准 元 素 把 输入 数组 

















划分 为 更 小 的 子 问题 ， 然 后 对 子 问题 进行 递归 调 








来 解决 。 RSelect 总 是 








统一 按照 随机 的 方式 选择 基准 元 素 。 

















。 RSelect 的 运行 时 间 依 赖 于 所 选择 的 基准 元 素 , 在 @(n) 和 OB (rn ) 之 间 波 动 。 
。 RSelect 的 平均 运行 时 间 是 @(n)。 它 的 证 明 可 以 简化 为 撕 硬 币 试验 来 完成 。 





























。 确定 性 的 DSelect 算法 的 基本 思路 是 使 用 “中 位 的 
把 输入 数组 划分 为 5 个 元 素 一 组 ， 直 接 计算 每 一 
地 计算 m5 的 小 组 胜 者 的 中 位 元 素 。 

。 30-70 辅助 结论 显示 了 中 位 的 中 位 方法 能 够 保证 
70% 或 更 好 的 划分 。 




























































































中 位 ”作为 基准 元 素 : 
的 中 位 元 素 ， 并 递归 


























输入 数组 进行 30% 一 


























。 DSelect 的 分 析 显 示 了 在 递归 调用 中 计算 中 位 的 中 位 元 素 所 完成 的 工作 
被 30% 一 70% 划 分 所 带 来 的 优点 所 补偿 ， 因 此 它 能 够 实现 线性 运行 时 间 。 








6.6 本章 习题 








问题 6.1 假设 a 是 个 常量 ， 与 输入 数组 的 长 度 无关， 并 严格 位 于 1/2 和 
1 之 间 。 假 设 我 们 使 用 RSelect 算法 计算 一 个 长 度 为 n 的 数组 的 中 位 元 素 。 传 递 











YN 6.6 本章 习 题 





给 第 一 次 递归 调用 的 子 数组 的 长 度 最 大 不 超过 on 的 概率 有 多 大 ? 
(a) 1—a 





(b) a—1/2 
(c) 1-2/0 


(d) 2o-1 











问题 6.2 ”假设 0 是 个 常量 ， 与 输入 数组 的 长 度 n 无 关 ， 并 严格 位 于 1/2 和 
1 之 间 。 假 设 每 个 RSelect 递归 调用 的 进展 都 像 前 一 个 问题 一 样 ， 因 此 当 一 个 递 
归 调 用 所 接受 的 数组 长 度 为 时, 传递 给 它 所 制造 的 递归 调用 的 子 数组 的 长 度 最 
多 为 ok。 在 触发 基本 条 件 之 前 ， 最 多 可 能 有 多 少 个 后 续 的 递归 调用 ? 



















































































CE 
Ina 
he 
Q 
(c) i 
In(1—o) 
(d) — 了 
ln( 一 +o) 
挑战 题 

















问题 6.3 ”在 这 个 问题 中 ， 输 入 是 个 包含 n 个 不 同 元 素 的 未 排序 数组 ， 其 元 
素 xx 具有 下 的 权重 Wi1, W2, “"*, Wno 





















































我 们 用 WW 表示 》w 的 权重 之 和 。 我 们 把 加 权 的 中 位 元 素 定义 为 元 素 x 使 








所 有 值 小 于 xi 的 元 素 的 总 权重 ( 即 > Ww ) 最 多 不 超过 1W2;， 另 外， 所 有 值 大 于 


Wh 








x 的 元 素 的 总 权重 ( 即 》 w ) 最 多 也 不 超过 1W2。 注 意 ， 最 多 有 两 个 加 权 中 位 


Xi > 
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元 素 。 提供 一 种 确 
示 : 使 用 DSelect 














让 




















定性 的 线性 时 间 算 法 , 计算 输入 数组 中 的 所 有 加 权 中 位 元 素 【 提 
芷 为 子 程序 】 
































问题 6.4 ”假设 我 们 修改 了 DSelect 算法 ， 使 用 7 个 元 素 一 组 而 不 是 5 个 一 
组 。( 和 前 面 一 样 使 用 中 位 的 中 位 作为 基准 元 素 。) 这 个 经 过 修改 的 算法 是 不 是 仍 
然 以 O(n) 时 间 运 行 ? 如 果 我 们 使 用 3 个 元 素 一 组 ， 情 况 又 是 如 何 ? 





编程 题 




































































自己 喜欢 的 编程 语言 实现 第 6.1 节 的 RSelect。 这 个 实现 应 该 在 











问题 6.5 























原 地 进行 操作 ， 使 用 Partition 的 一 种 内 置 实现 (读者 可 能 已 经 在 问题 5.6 中 实现 
了 Partition) 并 在 递归 过 程 中 传递 索引 来 记录 原始 输入 数组 中 仍然 相关 的 部 分 。 
《关于 测试 例 和 挑战 数据 集 ， 可 以 访问 www.algorithmsilluminated.org。) 




















深入 钻研 ， 可 以 参阅 论文 Select with Groups of 3 or 4 Takes Linear Time， 作 者 Ke 





QD 关于 这 个 问题 的 更 


Chen 和 Adrian Dumitrescu (arXiv:1409.3600, 2014) 。 


附录 人 © 
快速 回顾 数学 归纳 法 




















可 以 说 ， 数 学 归纳 法 贯穿 了 计算 机 科学 的 历史 。 例 如 ， 在 第 5.1 节 ， 我 们 使 
数学 归纳 法 论证 了 QuickSort 算法 总 是 能 够 正确 地 对 它 的 输入 数组 进行 排序 。 
在 第 6.4 节 ， 我 们 使 用 数学 归纳 法 证 明了 DSelect 算法 是 以 线性 时 间 运 行 的 。 
数学 归纳 法 可 能 并 不 直观 , 至 少 第 一 眼看 上 去 是 这 样 。 好 消息 是 它们 遵循 一 
个 相对 刻板 的 模板 ， 只 需要 稍稍 实践 很 快 就 能 上 手 。 本 附录 解释 了 这 个 模板 ， 并 
提供 了 两 个 简单 的 例子 。 如 果 读 者 以 前 没有 看 过 数学 归纳 法 , 那么 应 该 在 学 习 了 
本 附录 之 后 再 阅读 其 他 具有 更 多 实例 的 材料 。” 















































































































































































































































A.1 数学 归纳 法 的 模板 








为 了 实现 这 个 目的 ,数学 归纳 法 为 每 个 正 整 数 n 建立 了 一 个 声明 P(n)。 例如 ， 
在 证 明 第 5.1 节 的 QuickSort 算法 的 正确 性 时 ， 我 们 可 以 定义 P(n) 为 “对 于 每 个 
长 度 为 n 的 输入 数组 ，QuickSort 可 以 正确 地 对 它 进行 排序 ” 在 分 析 第 6.4 节 的 
DSelect 算法 的 运行 时 间 时 ， 我 们 可 以 定义 P(n) 为 “对 于 每 个 长 度 为 n 的 输入 数 
组 ，DSelect 最 多 在 执行 100n 次 的 操作 之 后 就 会 停止 >。 数 学 归纳 法 允许 我 们 证 





































































































GD 例如 ， 可 以 阅读 Eric Lehman 和 Tom Leighton 免费 课程 笔记 的 第 2 章 。 
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附录 A” 快速 回顾 数学 归纳 法 ” 任 
























































明 一 个 算法 的 某 个 属性 , 例如 正确 性 或 运行 时 间 上 界 , 它 是 通过 依次 为 不 同 输入 

长 度 的 数组 明确 这 个 属性 来 完成 证 明 的 。 
与 递归 算法 类 似 ， 数 学 归纳 法 也 是 由 两 部 分 组 成 : 一 个 基本 条 件 和 一 个 归 

纳 步 又 。 基 本 条 件 证 明了 对 于 所 有 足够 小 的 n 值 (一般 是 n = 1)，P(n) 是 成 并 

的 。 在 归纳 步骤 中 ， 我 们 假设 P(1)…,P(n-1) 都 是 成 立 的 ， 因 此 证 明 P(n) 也 是 

成 立 的 。 

基本 条 件 : 直接 证 明 P(1) 是 成 立 的 。 

归纳 步骤 : 证 明 对 于 每 个 整数 n 宇 2， 


人 











































































































如 果 P(Q), P(2),…，P(n 一 ]) 是 成 立 的 ， 则 P() 也 是 成 立 的 。 


归纳 假设 














在 归纳 步骤 中 ,我 们 假设 对 于 所 有 小 于 二 的 大 值 ， 都 已 经 确定 了 P( 虽 是 成 立 
的 。 这 称 为 归纳 假设 ， 我 们 应 该 使 用 这 个 假设 来 确定 P(n) 的 成 立 。 

如 果 我 们 证 明了 基本 条 件 和 递归 步骤 ， 则 对 于 每 个 正 整数 n，P(n) 就 是 真正 
成 立 的 。 根 据 基 本 条 件 ，P(D) 是 成 立 的 。 然 后 ， 我 们 不 断 地 应 用 归纳 步骤 ， 证 明 
P(n) 对 于 任意 大 的 值 都 是 成 立 的 。 










































































A.2 实例 : 闭合 公式 















































我 们 可 以 使 用 数学 归纳 法 从 前 个 正 整数 之 和 推导 出 一 个 闭 和 公式 。 用 PC 
表示 下 面 这 个 声明 ; 
at At Dn 
2 








当 n= 1 时， 左边 是 1， 右 边 是 2X1/2=1。 

这 就 说 明 P(1) 是 成 立 的 ， 基本 条 件 就 完成 了 。 对 于 归纳 步骤 ,我 们 挑选 一 个 
任意 的 整数 4 三 >， 并 假设 PQ), P(2)…,P(n-1) 都 是 成 立 的 。 具 体 地 说 ,我们 可 以 
假设 P(n-1)， 具 体 如 下 : 
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1+21 = 








现在 我 们 在 等 号 两 边 都 加 上 n， 得 出 : 
ne n= -DD | nf nt2n (nt Dn 
0 
这 就 证 明了 P(n) 是 成 立 的 。 由 于 我 们 已 经 确立 了 基本 
可 以 推断 P(n) 对 于 每 个 正 整数 都 是 成 立 的 。 











青 况 和 归纳 步 又, 因此 








一 
和 



































A.3 实例 : 完全 二 又 树 的 大 小 


接 下 来 ,我 们 对 一 棵 二 层 的 完全 二 又 树 的 节点 进行 计数 。 在 图 A.1 中 , 我 们 
看 到 当 n=4 层 时 ， 节 点 的 数量 是 15 = 2 -1。 这 个 模式 是 不 是 对 于 所 有 的 情况 都 
是 正确 的 呢 ? 





























A.1 一 棵 4 层 完 全 二 叉 树 具有 24 一 1=15 个 节点 








对 于 每 个 正 整 数 n， 用 P(n) 表 示 “ 一 棵 nn 层 完全 二 叉 权 具有 2”-1 个 节点 。” 
对 于 基本 条 件 ， 一 棵 一 层 的 完整 二 叉 树 正好 有 具 有 1 个 节点 。21-1 = 1， 因 此 P(1) 
是 成 立 的 。 对 于 归纳 步骤 ， 确 定 一 个 正 整 数 n 宇 2， 并 假设 P(1), P(2),…,P(n-1) 
都 是 成 立 的 。 




































































于 层 完 全 二 又 树 的 节点 可 以 分 为 3 组 : G) 根 节点 ; (说 根 的 左 子 树 的 节点 ; (ii 
根 的 右 子 树 的 节点 。 根 的 左 子 树 和 右 子 树 本 身 都 是 完全 二 叉 树 ， 每 个 都 有 7 一 1 
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层 。 由 于 我 们 假设 P(n-1) 是 正确 的 ， 因 此 左 子 树 和 右 子 树 都 正好 具有 2” - 1 个 


ro 


把 3 个 组 的 节点 加 在 一 起 ， 我 们 得 到 这 棵 树 的 节点 总 数 是 : 



































1 +2" -1+2” -1=2 -1 
~ 
入 左 子 树 右 子 树 























这 就 证 明了 P(n) 是 成 立 的 。 由 于 n 宇 2 是 任意 的 ， 因 此 这 个 归纳 步骤 是 成 并 
的 。 我 们 可 以 得 出 结论 ， 对 于 每 个 正 整 数 n，P(n) 都 是 成 立 的 。 
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本 附录 介绍 离散 概率 的 一 些 概念 : 取样 空间 、 事 件 、 随 机 变量 、 期 望 值 和 
线性 期 望 值 ， 它 们 对 于 随机 化 的 QuickSort 的 分 析 《〈 定 理 5.1 和 第 5.5 节 ) 是 极 
为 重要 的 。 第 B.6 节 用 一 个 把 这 些 概念 串联 在 一 起 的 负载 平衡 的 例子 完成 了 这 
个 话题 的 讨论 。 我 们 还 将 在 算法 详解 系列 的 其 他 几 部 中 使 用 这 些 概念 ， 如 在 数 
据 结构 、 图 形 算法 和 本 地 搜索 算法 中 。 如 果 读 者 是 首次 接触 这 方面 的 材料 ， 很 
可 能 还 需要 阅读 一 些 更 完整 的 材料 。 如 果 读 者 以 前 已 经 学 习 过 这 些 概 念 ， 就 不 
一 定 要 从 头 到 尾 阅 读本 附录 的 内 容 了 ， 只 要 适当 地 选择 自己 觉得 需要 复习 的 内 
容 就 可 以 了 。 














































































































































































































B.1 取样 空间 

















我 们 对 可 能 会 对 任意 数量 的 不 同事 情 的 随机 化 过 程 很 感 兴趣 。 所 谓 取样 空 

间 ， 就 是 可 能 发 生 的 所 有 不 同事 情 的 集合 。 我 们 可 以 在 这 个 集合 中 执行 一 些 操作 ， 

如 分 配 概 率 、 取 平均 数 等 。 例如， 如 果 我 们 的 随机 过 程 是 皂 一 个 六 面 骨 子 , 则 8 

={1, 2, 3, 4, 5, 6}。 令 人 愉快 的 是 ， 在 分 析 随 机 化 算法 时 ， 我 们 总 是 可 以 取 2 为 
个 有 限 的 集合 ， 并 且 只 处 理 不 同 的 概率 ， 它 比 通用 的 概率 理论 更 为 简单 。 


取样 空间 8 的 每 个 元 素 都 有 一 个 非 负 的 概率 p(i)， 可 以 认为 是 随机 过 程 的 
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结果 为 i 的 频率 。 例 如 ,如果 是 一 个 公平 的 六 面 角 子 ， 则 pQi) 对 于 每 个 i= 1, 2, 3， 
4, 5, 6 都 是 1/6。 一 般 而 言 ， 由 于 8 包含 了 所 有 可 能 发 生 的 事情 ， 所 以 这 些 概 率 
之 和 应 该 为 1: 
































2,p0=1 


一 个 常见 的 特殊 情况 是 2 的 每 个 元 素 都 具有 相同 的 概率 , 这 称 为 均匀 分 布 ， 

此 时 对 于 每 个 ie 2 PO)- 加 这 看 上 去 有 点 像 抽象 的 概念 ， 因 此 我 们 通过 两 

个 实际 例子 来 解释 。 在 第 一 个 例子 中 ， 随 机 过 程 是 掷 两 个 标准 的 〈 六 面 ) 角子 。 
取样 空间 是 36 种 可 能 出 现 的 不 同 组 合 : 

Q={01,1),(2,D),63,D),"…,(5,6),(6,6)} 


36 个 有 序 对 








































































































CC 

















假设 人 般 子 是 公平 的 ， 每 个 结果 的 出 现 概率 是 相同 的 ; 对 于 每 个 ie 2， 
1 
DU) 








第 二 个 例子 与 算法 的 关系 更 为 密切 ， 它 是 在 随机 化 的 QuickSort (第 5.4 节 ) 的 
最 外 层 调用 中 选择 基准 元 素 。 输 入 数组 的 任何 元 素 都 有 可 能 被 选 为 基准 元 素 ， 因 此 




















= 123 可 
一 一 
基准 元 素 的 可 能 位 置 


























其 中 是 输入 数组 的 长 度 。 根 据 定义 ， 在 随机 化 的 QuickSort 中 ， 每 个 元 素 
都 有 同等 的 概率 被 选 为 基准 元 素 ， 因 此 对 于 每 个 ie 2, p(i) = 上 上。 
n 


























B.2 事件 




















取样 空间 是 随机 过 程 的 所 有 可 能 出 现 的 结果 的 集合 , 而 事件 则 是 取样 空间 的 
一 个 子 集 Sc Q 。 事 件 $ 的 概率 Pr[5] 的 定义 正如 我 们 所 预料 的 那样 ， 就 是 5 的 





















































GD 对 于 有 限 的 集合 S，|S| 表 示 $ 中 元 素 的 数量 。 








Ny B.2 事件 








其 中 一 个 结果 的 发 生 概率 : 





Pr[S]= 2 p0) 


ieS 








我 们 通过 两 个 具体 的 例子 来 进行 这 个 概念 的 一 些 实践 。 


小 测验 B.1 


如 果 S 表 示 两 个 标准 仙子 之 和 为 7 的 结果 集 。 事 件 8 的 概率 是 什么 呢 ? ” 
(a) 元 

(0) 五 

(0) < 

Cd) 了 

(关于 正确 答案 和 详细 解释 ， 参 见 第 B.2.1 节 ) 

















第 二 个 小 测验 与 QuickSort 的 最 外 层 调用 选择 随机 的 基准 元 素 有 关 。 如 果 选 
择 一 个 基准 元 素 之 后 ， 至 少 有 25% 的 数组 元 素 小 于 这 个 基准 ， 并 且 至少 有 25% 
的 元 素 大 于 这 个 基准 ， 那 么 就 称 该 基准 元 素 为 “近似 中 位 元 素 ” 





























小 测验 B.2 


如 果 S 表 示 在 QuickSort 的 最 外 层 调 用 中 随机 所 选择 的 基准 元 素 为 近似 中 位 元 
素 ， 事 件 8 的 概率 是 什么 ? 


(a) 二 ， 其 中 凡是 数组 的 长 度 


1 
(b) 用 




















QD 这 是 对 玩 撕 角 游戏 而 言 非常 实用 的 知识 。 
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1 
(c) 7 
3 
d Ki 
Cd) 
(关于 正确 答案 和 详细 解释 ， 参 见 第 B.2.2 节 ) 





B.2.1 小 测验 B.1 的 答案 

















正确 答案 : 〈e)。 两 个 人 般 子 之 和 为 7 共有 6 个 结果 ; 


S= 1{(6, 1), 0 2 043) (3, 4), (2, 5), (1; 6) 





























由 于 8 的 每 个 结果 都 具有 相同 的 概率 ， 对 于 每 个 ies， 


B.2.2 小 测验 B.2 的 答案 











} 





WE 
p(i) = ee 因此 : 


正确 答案 :〈c)。 作 为 一 种 思维 试验 ， 我 们 可 以 想象 把 输入 数组 中 的 元 素 划 














分 为 4 组 : 最 小 的 w4 个 元 素 ， 次 小 的 mw4 个 元 素 ， 再 次 小 的 w4 个 元 素 ， 最 后 
是 最 大 的 n/4 个 元 素 。( 和 往常 一 样 ， 为 了 简单 起 见 ， 我 们 忽略 了 元 素数 量 不 能 
被 4 整除 的 问题 ) 第 二 组 和 第 三 组 的 每 个 元 素 都 是 近似 中 位 元 素 , 因为 第 一 组 的 









































所 有 n/4 个 元 素 都 小 于 它们 并 且 最 后 一 组 的 n/4 个 元 素 都 大 于 它们 。 反 之 ， 如 果 
































这 种 算法 从 第 一 组 或 最 后 一 组 选择 了 一 个 元 素 作 为 基准 元 素 











, 要 么 是 小 于 该 基准 
































元 素 的 元 素 只 是 第 一 组 的 一 个 严格 子 集 , 要 么 是 大 于 该 基准 元 素 的 元 素 只 是 最 后 





























一 组 的 一 个 严格 子 集 。 在 这 种 情况 下 ， 基 准 元 素 就 不 是 近似 中 位 元 素 。 因 此 ， 事 
件 S 对 应 于 第 二 组 和 第 三 组 的 w2 个 元 素 被 选 为 基准 元 素 , 由 于 每 个 元 素 都 有 同 


























等 的 概率 被 选 为 基准 元 素 ， 所 以 








Ry 
n 








YN B.4 期 望 人 




















B.3 随机 变量 














随机 变量 是 一 个 随机 过 程 的 结果 的 数值 测量 。 








从 形式 上 说 , 它 是 一 个 在 取样 














空间 2 上 定义 的 一 个 实数 值 函数 对 :0Q 一 R。 它 的 输入 ie .0Q 到 X 是 这 个 随机 过 








程 的 一 个 结果 ， 它 的 输出 X(i) 是 个 数值 。 














在 第 一 个 具体 实例 中 , 我 们 可 以 定义 一 个 随机 变量 为 两 个 般 子 之 和 。 这 个 随 

















机 变量 是 结果 《一 个 (5, 让 对， 其 中 jE {1,2, 3,… 




















, 6}) 根据 (Gi, 门 二 iti 所 映射 的 


实数 。 在 第 二 个 具体 的 实例 中 ， 我 们 可 以 定义 一 个 随机 变量 为 传递 给 QuickSort 
的 第 一 个 递归 调用 的 子 数组 的 长 度 。 这 个 随机 变量 把 每 个 结果 (也 就 是 基准 元 素 








的 每 个 选择 ) 映射 为 一 个 0 (如 果 被 选中 的 基准 元 素 是 最 小 元 素 ) 到 -1 (n 是 





























和 











输入 数组 的 长 度 ， 此 时 被 选中 的 基准 元 素 是 最 大 的 元 素 ) 之 间 的 整数 。 




















第 5.5 节 研 究 了 随机 变量 是 随机 化 的 QuickSort 处 理 一 个 特定 的 输入 数 























组 的 运行 时 间 。 在 这 个 例子 中 ， 取 样 空间 8 是 该 算法 可 能 选择 的 所 有 可 能 的 
































B.4 期望 值 





随机 变量 X 的 期 望 值 是 它 的 所 有 可 能 发 生 的 性 





元 素 ，X(i) 是 该 算法 对 基准 元 素 选 择 的 一 个 特定 的 序列 ie Q 所 执行 的 操 




















据 不 同 结果 的 概率 进行 了 适当 的 加 权 。 从 直觉 上 说 ， 
复发 生 ， 卫 [ 习 就 是 随机 变量 长 期 运行 的 平均 值 。 
六 面 山 子 的 值 ， 则 E[ 和 = 3.5。 



































4 况 的 平均 值 ， 这 个 平均 值 根 
































如 果 一 个 随机 过 程 不 断 地 反 
例如 ， 如 果子 是 一 个 公平 的 








在 数学 中 , 如果:.Q 一 R 是 个 随机 变量 并 且 p(i) 表 示 结 果 ie 0 的 概率 ， 则 



































G 由 于 随机 化 的 QuickSort 中 的 唯一 随机 性 出 现在 基准 元 素 的 选择 中 ， 一 旦 我 们 确定 了 这 些 选择 ， 














QuickSort 就 具有 某 种 定义 良好 的 运行 时 间 。 
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Elx]= 2,p()-: X(i) (B.1) 


接 下 来 的 两 个 小 测验 要 求 读者 完成 前 一 节 所 定义 的 两 个 随机 变量 的 期 望 值 。 





小 测验 B.3 
两 个 鹏 子 之 和 的 期 望 值 是 多 少 ? 
(a) 6.5 
(b)7 
(c)7.5 
(d) 8 


(关于 正确 答案 和 详细 解释 ， 参 见 第 B.4.1 节 ) 




















回 到 随机 化 的 QuickSort， 传 递 给 第 一 个 递归 调用 的 子 数组 的 平均 长 度 是 多 
少 ? 换 句 话说， 平均 有 多 少 个 元 素 小 于 一 个 随机 选择 的 基准 元 素 ? 
































小 测验 B.4 





下 面 哪个 选项 最 接近 传递 给 QuickSort 的 第 一 个 递归 调用 的 子 数组 的 长 度 ? 
(a) 

(0 

(c ) 5 

(qd) 也 

(关于 正确 答案 和 详细 解释 ， 参 见 第 B.4.2 节 ) 








B.4.1 小 测验 B.3 的 答案 


















































正确 答案 : (b)。 我 们 可 以 通过 几 种 方式 看 到 这 个 期 望 值 是 7。 第 一 种 方式 
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是 根据 等 式 〈B.1) 通过 穷 举 搜索 来 确定 这 个 期 望 值 。 由 于 一 共有 36 种 结果 ， 所 
以 这 种 方式 可 行 但 很 乏味 ,一 种 较为 取 巧 的 方式 是 成 对 列 出 和 的 所 有 可 能 值 并 使 
j 对 称 原 理 。 和 为 2 和 12 的 可 能 性 是 相同 的 , 和 为 3 或 11 的 可 能 性 也 是 相同 的 ， 
接 下 来 以 此 类 推 。 对 于 这 些 值 的 每 一 对 ， 平 均值 都 是 7， 因 此 它 也 是 总 体 的 平均 
值 。 第 三 种 也 是 最 好 的 方式 是 使 用 线性 期 望 值 ， 它 是 下 一 节 的 主题 。 


B.4.2 小 测验 B.4 的 答案 






































































































































正确 答案 : 〈c)。 这 个 期 望 值 的 准确 值 是 - 1D)/2。 有 1/n 的 机 会 这 个 子 数组 
的 长 度 为 0 (如 果 基 准 元 素 为 最 小 的 元 素 )， 有 1/n 的 机 会 这 个 子 数 组 的 长 度 为 1 
(如 果 基 准 元 素 为 次 小 的 元 素 )， 接 下 来 以 此 类 推 ， 有 1/n 的 机 会 这 个 子 数组 的 长 
度 为 n-1 (如 果 基准 元 素 是 最 大 的 元 素 )。 根 据 期 望 值 的 定义 (公式 B.1)， 并 回 
顾 竺 式 交 ;= "一 9， 我 们 可 以 得 到 ， 

























































































ELX]=7"0+ T+ D=50+2+.+ (1-1) 


n(n-l) 








B.5 线性 期 望 值 


B.5.1 形式 声明 和 用 例 


最 后 一 个 概念 是 个 数学 属性 而 不 是 定义 。 线 性 期 望 值 这 个 属性 是 指 随机 变量 




















可 册 


























中 观察 1+2+…+CO-D=22 -的 种 方式 是 使 用 n 的 期 望 值 〈 参 阅 第 A.2 节 ) 。 作 为 一 种 取 巧 的 证 











明 ， 取 左边 的 两 个 备份 ， 把 第 一 个 备份 的 “1” 与 第 二 个 备份 的 “n-1” 结 对 ， 把 第 一 个 备份 的 “2” 
与 第 二 个 备份 的 “n-2” 结 对 ， 接 下 来 以 此 类 推 。 这 样 一 共 就 有 (n -1) 对 值 。 由 于 式 子 之 和 加 信 
之 后 等 于 n(n-1)， 所 以 原始 的 和 等 于 2 。 
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附录 

















的 和 的 期 望 值 等 于 它们 各 自 的 期 望 值 之 和 。 它 对 于 计算 复杂 随机 变量 的 期 望 值 具 
随机 化 的 QuickSort 的 运行 时 间 时 ， 随 机 变量 
以 更 简单 的 随机 变量 加 权 之 和 所 表示 的 。 











有 难以 想象 的 实用 性 。 


日 
征 





概率 



































殉 如 在 计 香 









































定理 B.1 (线性 期 望 值 ) 假设 鼠 ，…, 成 是 在 同一 个 取样 空间 中 定义 的 随机 


变 并 且 dl, 





地 er 





oy 





下 





实数 ， 则 


也 就 是 说 , 随机 变量 的 求 和 以 及 期 望 值 的 计 

















是 相同 的 。 常 见 的 | 





QuickSort 的 运行 时 间 ) 且 男 是 简单 的 随机 变量 ( 像 0 一 1 随机 变 
设 丈 是 两 个 标准 般 子 之 和 。 我 们 可 以 把 歹 写成 为 两 个 随机 变量 态 和 马 (分 别 是 
一 个 仙 子 和 第 二 个 人 般 子 的 值 ) 之 和 。 卫 和 有 名 的 期 望 值 很 容易 根据 定义 (公式 





AAA 


和 









































B.1) 进行 计 





然后 


一 个 极端 重要 的 特点 





Ya “ELX)] 


(B.2) 


























] 例 是 4)X; ， 它 是 一 个 复杂 的 随机 变量 


,50+2+314+5+6)=3.5。 























， 我 们 就 可 以 利用 线性 期 望 值得 到 下 面 的 结 


E[X] = ELX]+ ELB]=3.5+3.5=7 
这 样 我 们 就 用 更 少 的 工作 重 现 了 第 B.4.1 节 的 答案 。 


= 
古 





线性 期 望 值 
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里 





)“。 例 如 


可 以 按 任 意 顺序 进行 , 其 结果 


网 如 随机 化 的 


>» 




















对 于 











观 的 感觉 知 
如 ， 上 面 的 随机 变 


上 了 


里 








道 一 个 随机 变量 的 信 
名 和 及 是 独立 的 ， 因 

















恩 并 不 能 了 解 男 一 个 随机 变量 的 任 
为 两 个 骨 子 被 认为 是 独立 抛 括 的 。 





可 信息 。 








Bb 些 相 互 独立 的 随机 变量 也 是 成 六 
的 。 我 们 在 本 书 中 并 不 需要 正式 定义 独立 性 , 但 读者 对 它 的 含义 可 能 已 经 有 了 直 
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关于 依赖 性 随机 变量 的 例子 , 可 以 考虑 一 对 存在 神奇 联系 的 般 子 ,其 中 第 二 











个 仍 子 的 值 总 是 比 第 

















个 骨 子 的 值 大 1 


日 




















(如 果 第 一 个 山子 





日 
个 





我 们 仍然 可 以 把 的 和 写成 和 +X2， 其 中 入 和 有 是 两 个 角子 





QD 在 斯 坦 福 大 学 的 本 课程 








FP， 在 超过 10 周 的 课时 














h ， 我 在 数学 术语 “线性 期 户 








值 ”上 画 了 一 个 框 。 





Hl 





的 值 是 6， 第 二 个 奶子 
的 值 就 是 1)。 现 在 ， 知 道 任何 一 个 山子 的 值 就 能 够 知道 另 一 个 人 般 子 的 值 。 但 是 ， 
的 值 。 独 立地 看 ， 





yN B.5 线性 期 望 人 




















总 的 值 可 以 看 成 是 {1, 2, 3, 4, 5, 6} 的 其 中 之 一 并 且 它 们 的 概率 相同 。 第 二 个 盘子 
也 是 如 此 。 因 此 ， 我 们 仍然 可 以 得 到 E[X1] = E[X] = 3.5， 按 照 线 性 期 望 值 ， 我 
们 可 以 得 到 E[X]=7。 


























为 什么 要 感到 惊奇 呢 ? 从 表面 上 看 , 等 式 (B.2) 看 上 去 像 是 无 意义 的 重复 。 
但 是 ， 如 果 我 们 切换 到 随机 变量 的 乘积 之 和 ,定理 B.1 这 个 类 比 对 于 依赖 性 随机 
变量 就 不 再 成 立 "。 因 此 ， 线 性 期 望 值 确实 是 随机 变量 之 和 的 一 个 特殊 属性 。 


B.5.2 证 明 

































































线性 期 望 值 的 实用 性 与 它 的 证 明 的 简洁 性 正好 是 相得益彰 。” 





























定理 B.1 的 证 明 : 从 公式 〈B.2) 的 右边 开始 ， 并 使 用 定理 B.1 期 望 值 的 定 
义 对 它 进行 扩展 ， 得 出 











>o EC=>a 也 pO-X, oj 
= (ze 0 


反 转 求 和 的 顺序 ， 可 得 


ieQ 


| OO 四 让 > a, 0 (B.3) 


j=l \ieQ 








由 于 p( 与 j= 1,2,…,n 是 独立 的 ， 因 此 可 以 把 它 从 内 层 的 求 和 中 提取 出 来 : 








bb 0) 二 Zrol| 2 0 























最 后 ， 再 次 根据 期 望 值 的 定义 〈 公 式 B.1)， 得 到 公式 〈B.2) 的 左边 : 























QD 神奇 联系 的 山子 提供 了 一 个 反例 。 如 果 想 要 观察 一 个 更 加 简单 的 反例 ， 可 以 假设 等 于 0 和 1 或 1 和 0， 
每 个 结果 都 有 50% 的 概率 。 这 样 E[Xi : 和 ’] = 0， 而 E[X1] * E[X2]= 1/4。 
@ 读者 第 一 次 阅读 这 个 证 明 时 ， 简 单 起 见 ， 可 以 假设 a1=4y= … =an=1。 
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j=1 


Q.e.d. 
这 就 对 了 ! 线性 期 望 值 确实 只 是 双 求 和 的 反 转 。 























谈 到 双 求 和 , 如 果 读 者 对 代数 运算 的 这 些 类 型 并 不 是 特别 熟悉 , 可 能 会 觉得 
等 式 〈B.3) 比较 蜀 涩 。 作 为 一 种 简单 的 思考 方式 ， 可 以 把 wjPGO)Z (GD 排列 在 一 
个 网 格 中 ， 行 的 索引 is .Q ， 列 的 索引 je 和 ,2,…, 有 }， 数 ajp()- 半 ,Qi) 放 在 第 i 行 


和 第 7 列 的 单元 格 中 : 





























ER wP(DX(CD 











一 
《一 /一 一 


公式 〈B.3) 的 左边 首先 对 每 一 列 进行 求 和 ， 然 后 把 这 些 列 的 和 再 累加 在 一 
起 。 右边 首先 对 行进 行 求 和 , 然后 再 将 这 些 行 的 和 累加 在 一 起 。 不 管 是 哪 种 方式 ， 
都 可 以 得 到 网 格 中 所 有 元 素 之 和 。 

























































































B.6 实例 : 负载 平衡 














为 了 把 前 面 这 些 概念 结合 在 一 起 , 我 们 研究 一 个 关于 负载 平衡 的 例子 。 假设 
我 们 用 一 种 算法 把 进程 分 配给 服务 器 , 但 是 我 们 非常 懒 , 想 采用 尽 可 能 省 力 的 方 
法 。 一 种 比较 容易 的 方法 是 把 每 个 进程 分 配给 一 个 随机 的 服务 器 , 每 个 服务 器 得 
到 这 个 进程 的 概率 是 相同 的 。 这 种 方法 的 效果 好 不 好 呢 ? 


举 个 具体 的 例子 ， 假 设 一 共有 个 进程 和 个 服务 占 ， 其 中 是 个 正 整 数 。 















































































































































QD 这 个 例子 与 《算法 详解 》 系 列 的 第 2 卷 所 讨论 的 散 列 有 关 。 








首先 ， 我 们 要 和 弄 清 取样 














空间 : 


n 个 进程 中 的 每 个 进程 都 有 n 种 选择 。 根 据 这 种 懒惰 算法 的 定义 ， 这 些 n Xn 个 





























既然 已 经 有 了 取样 空 
数量 就 是 服务 器 的 负载 ， 





























可 
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3 B.6 实例 : 负载 平衡 











集合 2 是 把 进程 分 配给 服务 器 的 所 有 可 能 的 方式 ， 























结果 中 的 每 一 个 都 具有 相同 的 概率 。 











间 , 现在 就 可 以 定义 随机 变量 了 。 我 们 所 感 兴趣 的 一 个 
因此 我 们 把 了 定义 为 等 于 分 配给 第 一 台 服 务 器 的 进程 数 
量 的 随机 变量 。( 根 据 对 称 原 理 ， 所 有 的 服务 器 都 是 一 样 的 ， 因 此 我 们 只 要 关注 
一 台 就 可 以 了 。) 了 的 期 望 值 是 多 少 ? 
























































从 原则 上 说 ， 我 们 可 以 通过 公式 〈B.1) 对 了 0) 进行 穷 举 法 求 值 ， 但 是 除非 


是 n 的 值 非常 小 ， 否则 这 


























0 幸运 的 是 ,由 于 了 可 以 表达 为 简单 

















随机 变量 之 和 ， 所 以 我 们 可 以 用 线性 期 望 值 来 解决 这 个 问题 。 
从 形式 上 说 ， 对 于 j= 1 ， 2: es 定义 
1 如 果 第 /个 进程 被 分 配给 第 一 台 服 务 器 
0, 其 他 情况 下 
只 取 0 和 1 这 两 个 值 的 随机 变量 常常 被 称 为 指示 性 随机 变量 ， 因 为 它们 提示 
了 某 个 事件 是 否 发 生 《〈 例 如 进程 7 是否 被 分 配给 第 一 台 服 务 器 这 个 事件 )。 





-| 














































































































恨 据 定义 ， 我 们 可 以 把 了 表达 为 所 有 久之 和 : 


竺 > 7 
/2 











民 据 线性 期 望 值 〈 定 理 








B.1), 了 的 期 望 值 是 各 个 的 期 望 值 之 和 : 








由 于 每 个 随机 变量 亏 





eb 


净 都 是 


/=l 




















简单 随机 变量 ， 因 此 很 容易 直接 计算 出 它 的 期 望 值 : 




















ELX =0PrLX =0+L Pr[X,=1]= Pr[X,=1] 

















由 于 第 7 个 进程 分 配给 每 个 服务 器 的 概率 是 相同 的 ，Pr[ 忒 = 1] = 1/n。 综 合 
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EIY]=Y EX,]=n:L=1 
/=1 | n 


By 














因此 , 如果 我 们 只 关注 服务 器 的 平均 负载 , 这 种 超级 懒惰 的 算法 完全 没有 问 
题 ! 这 个 例子 以 及 随机 化 的 QuickSort 算法 充分 说 明了 随机 化 在 算法 设计 中 所 扮 
演 的 角色 : 如 果 我 们 采用 随机 化 的 选择 , 常常 可 以 证 明 真 正人 













































































简单 的 假设 是 行 之 有 
效 的 。 
小 测验 B.5 

考虑 由 天 个 人 所 组 成 的 一 个 组 。 假 设 每 个 人 的 生日 是 从 365 种 可 能 性 中 随机 
抽取 的 。( 和 忽略 周年。) 若 要 至 少 有 一 对 人 具有 相同 生日 的 期 望 值 达 到 1, 
的 最 小 值 应 该 是 什么 ? 【提示 : 为 每 对 人 定义 一 个 指示 性 随机 变量 。 使 用 线 
性 期 望 值 .】 

(a) 20 

(b ) 23 

(c) 27 

(d) 28 

(e) 366 




















正确 答案 : (d)。 先 确定 一 个 正 整数 万 并 定义 人 的 集合 为 1 2，…, 后 。 让 
了 表示 具有 相同 生日 的 人 的 对 数 。 如 题目 的 提示 所 建议 的 那样 ， 为 每 种 选择 i, 7 
E 1 2 后 定义 一 个 随机 变量 马 。 如 果 ; 寺 和 /7 具有 相同 的 生日 , 就 定义 态 为 1， 
否则 就 定义 蕊 为 0。 因 此 ， 马 各 是 指示 性 随机 变量 ， 并 且 






































根据 线性 期 望 值 的 定义 《定理 B.1): 


E[Y]= sb | > > E[X,] (B.4) 


=1 j=i+l 























由 于 高 是 指 示 性 随机 变量 ， 所 以 E[X; ] 











= Pr[X;y=1]。i 和 j 的 生日 共有 (365Y 








yN B.6 实例 : 负载 平衡 

















' 可 能 性 ， 在 这 些 可 能 性 中 i 和 j 具有 相同 生日 的 可 能 性 









































共有 365 种 。 
假设 所 有 的 生日 组 合 都 具有 相同 的 概率 ， 
Pr[y =1]= 0 1 
(365) 365 
把 这 个 式 子 代入 到 式 〈B.4) 中 ， 可 以 得 到 
| 1 (Kk) Kk(k—1l) 
ls 二 > 365 365 | 730 

















Kp | 表示 二 项 式 系数 “kk 选择 2”( 和 小 测验 3.1 的 答案 一 样 
对 于 K(k-1Y730 宇 1 这 








个 不 等 式 , 的 最 小 值 是 28。 
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